Oprogramowanie, które pozwala na przeanalizowanie obrazu filmowego z perspektywy widza stworzyli naukowcy z Politechniki Łódzkiej. Ma ono umożliwić filmowcom przewidywanie reakcji widzów, zanim film trafi na ekrany i pomóc im m.in. w unikaniu błędów w obrazie.

"Wierzymy, że możliwe jest przewidywanie reakcji widza, bez widza, co umożliwi poprawianie kadrów czy kompozycji tak, aby obraz filmowy był bardziej interesujący" – opowiadał PAP dr hab. Piotr Napieralski, kierownik Zakładu Grafiki Komputerowej i Multimediów Politechniki Łódzkiej (PŁ).

Część projektu polegała na badaniach reakcji widzów. Do tego celu badacze używali urządzeń, które wykorzystywane są w tej chwili szeroko w przemyśle gier. Był to eyetracker, czyli tzw. okulograf, śledzący wzrok widza i sprawdzający, w które miejsca obrazu się patrzy oraz Brain Computer Interfaces, pozwalający sterować komputerem za pomocą myśli użytkownika, a bazujący na uproszonym modelu EEG.

"Oba urządzenia były wykorzystywane do akwizycji sygnałów pochodzących od widza. Na tej podstawie mogliśmy śledzić obszary obrazu, które są dla niego interesujące jak i emocje, które towarzyszyły widzowi podczas oglądania (...)" – wyjaśnił szef projektu.

Jednocześnie - ale już bez udziału widzów - naukowcy stworzyli syntetyczne kadry zainteresowań widza. W tym przypadku wykorzystali algorytmy sztucznej inteligencji jak i algorytmy przetwarzania obrazu. Zbudowali w ten sposób "mapy uwagi" tzw. saliency map, które pokazują - na zasadzie mapy cieplnej - rozkład istotnych miejsc w obrazie filmowym, na które widzowie zwracają uwagę.

"Oprócz rozkładu kompozycji, czyli mocnego punktu, ludzie zwracają uwagę na ruch, na twarze, na kolorystykę czy na litery i to wszystko trzeba było zestawić w mapę, która odpowiadałaby rzeczywistym reakcjom widza na kadr ruchomego obrazu filmowego" – wyjaśnił dr Napieralski.

Tak zbudowane "mapy uwagi" były weryfikowane – sprawdzano, czy rzeczywiście tak przeanalizowany obraz filmowy odpowiadał badaniom przeprowadzonym na widzach. I okazało się – według naukowców – że ta metoda się sprawdza.

"W przypadku większości obrazów, które weryfikowaliśmy opracowanymi metodami, okazało się, że odpowiadają one w przybliżony sposób rzeczywistym reakcjom widza na obraz filmowy" – podkreślił szef Zakładu Grafiki Komputerowej i Multimediów PŁ.



Badania z użyciem stworzonego przez specjalistów z PŁ oprogramowania potwierdziły np., że widzowie w obrazie filmowym zwracają uwagę na twarze, a nagły ruch natychmiast zaczyna przykuwać ich uwagę. Ciekawe było to, że w inny sposób reagowali mężczyźni i kobiety. "Kobiety unikały wzroku postaci w filmie, natomiast mężczyźni ten wzrok śledzili" – dodał dr Napieralski.

Badano różne grupy widzów - studentów, osoby z branży gier komputerowych i filmowców. Okazało się, że pomiędzy nimi były znaczące różnice w sposobie postrzegania obrazu i reakcji - np. filmowcy postrzegali obraz bardzo analitycznie i technicznie, a osoby niezwiązane z branżą filmową reagowały bardziej emocjonalnie.

Zdaniem dr. Napieralskiego, syntetyczne budowanie "mapy uwagi" na podstawie obrazu filmowego pozwala na sprawdzenie miejsc, które są mniej czy bardziej istotne dla widza, które ujęcie może być ważne. Ma to niebagatelne znaczenie przy produkcji filmowej, gdzie każda godzina planu filmowego niesie za sobą olbrzymie koszty.

Możliwość szybkiego zweryfikowania za pomocą syntetycznych obrazów, a nie przeprowadzania ankiety wśród widzów pozwala np. na szybkie wyeliminowanie błędów w czasie np. montażu czy postprodukcji filmowej.

Zespół łódzkich naukowców prowadzi dalsze prace nad swoim oprogramowaniem z zastosowaniem urządzeń pozwalających na zweryfikowanie większej liczby sygnałów pobranych od widzów oglądających obraz filmowy. Wynalazcy nie wykluczają, że ich system w przyszłości mógłby trafić bezpośrednio na plan filmowy.

Kamil Szubański PAP
źródło: Nauka w Polsce