Oprogramowanie działa zanim wideo trafi na ekrany

 

Naukowcy z Politechniki Łódzkiej stworzyli oprogramowanie, które analizuje obraz filmowy z perspektywy widza. Dzięki jego zastosowaniu możliwe jest przewidzenie reakcji na film zanim trafi on na ekrany.

– Wierzymy, że możliwe jest przewidywanie reakcji widza, bez widza, co umożliwi poprawianie kadrów czy kompozycji tak, aby obraz filmowy był bardziej interesujący – relacjonuje szef projektu, kierownik Zakładu Grafiki Komputerowej i Multimediów Politechniki Łódzkiej dr hab. Piotr Napieralski.

Aby stworzyć system, naukowcy początkowo badali reakcje widzów za pomocą urządzeń wykorzystywanych w grach wideo. m.in. okulografu (eyetrackera), który śledzi wzrok widza czy Brain Computer Interfaces, służący do sterowania komputerem za pomocą myśli użytkownika.

– Oba urządzenia były wykorzystywane do akwizycji sygnałów pochodzących od widza. Na tej podstawie mogliśmy śledzić obszary obrazu, które są dla niego interesujące jak i emocje, które towarzyszyły widzowi podczas oglądania – wyjaśnia Napieralski.

Dane następnie zostały przetworzone za pomocą algorytmów sztucznej inteligencji i przetwarzania obrazu. W ten sposób powstały przypominające mapy cieplne mapy uwagi (saliency map), pokazujące w obrazie filmowym rozkład miejsc, na które widzowie zwracają uwagę.

– Oprócz rozkładu kompozycji, czyli mocnego punktu, ludzie zwracają uwagę na ruch, na twarze, na kolorystykę czy na litery i to wszystko trzeba było zestawić w mapę, która odpowiadałaby rzeczywistym reakcjom widza na kadr ruchomego obrazu filmowego – mówi szef projektu. – W przypadku większości obrazów, które weryfikowaliśmy opracowanymi metodami, okazało się, że odpowiadają one w przybliżony sposób rzeczywistym reakcjom widza na obraz filmowy – dodaje.

Co ciekawe, reakcje kobiet i mężczyzn na film różniły się.

– Kobiety unikały wzroku postaci w filmie, natomiast mężczyźni ten wzrok śledzili – mówi Napieralski.

jak twierdzi szef projektu z Politechniki Łódzkiej, budowanie map uwagi na podstawie obrazu filmowego może mieć niebagatelne znaczenie podczas procesu filmowej produkcji, w którym każda godzina oznacza olbrzymie koszty.

Źródło: