Badacze ze Stanford University, Friedrich-Alexander-Universität Erlangen-Nürnberg oraz Max-Planck-Institut Informatik opracowali technologię, która umożliwia przeniesienie w czasie rzeczywistym mimiki twarzy jednej osoby na twarz drugiej.
O ile od kilkunastu lat znamy szybkie, wydajne techniki przenoszenia mimiki aktora na twarz animowanej postaci, to zrobienie tego samego z twarzą żywego człowieka jest znacznie trudniejsze. Nasze mózgi są bowiem ewolucyjnie doskonale przystosowane do obserwacji twarzy innych osób, przez co z dużą łatwością dostrzegamy niedoskonałości animacji. A ponieważ gotowy obraz musi być bardzo dokładny, dotychczasowe rozwiązania tego typu nie były zdolne do pracy na żywo.
Zespół z Niemiec i USA opracował metodę, która pozwala na taką animację z użyciem zupełnie standardowych i niedrogich komponentów. Do przechwytywania obrazu używano kamery z czujnikiem głębi Asus Xtion Pro, natomiast obliczenia wykonywane były na komputerze wyposażonym w procesor Intel Core i7 oraz kartę graficzną nVidia GeForce GTX98. Co ciekawe, karta graficzna nie tylko odpowiadała za rendering końcowego obrazu, ale to właśnie za jej pomocą przeprowadzano większość obliczeń.
Jak rozwiązanie sprawuje się w praktyce? Dobrze. Rzeczywiście mimika jednego aktora przeniesiona na twarz drugiego wygląda naturalnie. Również w sytuacji, kiedy aktor porusza głową. Na razie najpoważniejszym problemem wydaje się fakt, że rozwiązanie nie obsługuje ruchu gałek ocznych. Być może już niedługo otrzymamy więc narzędzie, które pozwoli na poprawę mimiki co bardziej „drewnianych” aktorów (choć niestety mało prawdopodobne, by się na to zgodzili), czy przynajmniej dzięki przenoszeniu ruchu ust sprawi, że dubbing będzie wyglądał bardziej naturalnie.
[źródło: sciencealert.com, stanford.edu; sciencealert.com]
