Marzycie o tym, aby zobaczyć swoje ulubione sceny filmowe w wersji komiksowej? Może sami mieliście ochotę przenieść takowe na kartki komiksu, ale brakuje wam umiejętności? Spokojna głowa, bowiem studenci Warszawskiej Politechniki opracowali algorytm, który zrobi to za was. Mimo, że zadebiutował dość niedawno, to już teraz cieszy się ogromnym zainteresowaniem.
Studenci Politechniki Warszawskiej połączyli swoją pasję do komiksu oraz wiedzę z zakresu uczenia maszynowego, dzięki czemu powstał ciekawy algorytm nazwany Comixify. Niespełna miesiąc od uruchomienia strona założona przez studentów zanotowała przeszło 180 tysięcy odwiedzin i 22 tysiące wygenerowanych komiksów. Jest to efekt współpracy Wydziału Elektroniki i Technik Informacyjnych oraz Zakładu Grafiki Komputerowej Instytutu Informatyki. Podobno pierwszym krokiem do podjęcia prac nad algorytmem była publikacja poświęcona przewidywaniu popularności treści w internecie.
Na stronie Comixify można zobaczyć komiksy stworzone na bazie takich filmów jak choćby Pulp Fiction czy Gwiezdne Wojny. Każdy może spróbować swoich twórczych sił bez ponoszenia żadnych opłat. Na stronę wystarczy przesłać plik o rozmiarze nie większym niż 50 MB, tudzież skorzystać z gotowych linków do serwisu YouTube. Jak donoszą władze uczelni Comixify spotkał się z dużym zainteresowaniem na całym świecie. Zapytania o możliwości współpracy płyną z branży filmowej oraz europejskich i amerykańskich twórców komiksu. Autorzy algorytmu na tę chwilę szukają dalszych możliwości finansowania projektu.
Jak to działa?
W skrócie tworzenie komiksu podzielono na dwa zasadnicze etapy: ekstrakcję klatek i transfer stylu. Na początek wyodrębniane są reprezentatywne sceny z nagrania. Aby to osiągnąć rozwinięto algorytm oparty o metodę uczenia ze wzmocnieniem (Reinforcement Learning), mający na celu inteligentne „analizowanie” filmu. Zdaniem twórców Comixify nie tylko wybierze najbardziej reprezentatywne klatki z filmu, ale również kadry o najwyższym potencjale estetycznym. Innymi słowy komiks będzie mieć szansę na jak największą popularność.
Następnie obrazom trzeba nadać komiksowy styl. W tym celu wdrożono generatywny model sieci neuronowych typu GAN. Jest to technika uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Algorytm otrzymuje dane w postaci obrazków, które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator sprawdza następnie, czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Cały proces trwa tak długo, aż generator stworzy instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy.
Źródło: naukawpolsce.pap.pl
