NVIDIA zrobiła coś, czego rzadko się po niej spodziewamy – otworzyła swoje oprogramowanie na społeczność deweloperów. Firma ogłosiła, że technologia Audio2Face jest teraz dostępna na licencji MIT open source. To narzędzie, będące częścią generatywnego portfolio AI NVIDII, pozwala na tworzenie realistycznej animacji twarzy i synchronizacji ruchu warg w czasie rzeczywistym na podstawie samego nagrania audio.
System analizuje fonemy, intonację oraz ton emocjonalny głosu, a następnie generuje strumienie danych, które można zastosować w modelach 3D, by nadać postaciom ekspresji i wiarygodności. Dzięki temu można znacząco przyspieszyć proces tworzenia animacji, omijając tradycyjne i czasochłonne metody performance capture.
Audio2Face już teraz ma wsparcie poprzez wtyczki do Autodesk Maya oraz Unreal Engine 5, a wraz z otwarciem kodu źródłowego NVIDIA udostępniła także SDK, framework treningowy oraz przykładowe zestawy danych. Programiści będą mogli dostosować modele do własnych projektów, w tym również rozwijać alternatywne wersje dla lip-syncu czy wykorzystywać Audio2Emotion, czyli sieci neuronowe służące do rozpoznawania emocji z głosu.
Z technologii korzystają już twórcy gier. The Farm 51 zastosowało Audio2Face w Chernobylite 2: Exclusion Zone, co pozwoliło im przyspieszyć proces produkcji animacji i nadać postaciom większy realizm. Wśród partnerów NVIDII znajdują się także Codemasters, GSC Game World, NetEase, Perfect World, Convai, Inworld AI, Reallusion, Streamlabs oraz UneeQ.
Audio2Face to element większego pakietu narzędzi RTX Kit, obejmującego m.in. SDK do kompresji tekstur z użyciem AI oraz globalnego oświetlenia. Dzięki otwartej licencji NVIDIA zaprasza nie tylko studia, ale też naukowców i studentów do eksperymentowania i wdrażania technologii w nowych obszarach – od gier wideo po cyfrowych asystentów w obsłudze klienta.
Pakiety dostępne w ramach Audio2Face:
- Audio2Face SDK – biblioteki i dokumentacja do tworzenia i uruchamiania animacji twarzy lokalnie lub w chmurze.
- Plugin do Autodesk Maya (v2.0) – obsługa wejścia audio i animacji twarzy bezpośrednio w Maya.
- Plugin do Unreal Engine 5 (v2.5) – integracja z UE 5.5 i 5.6 do generowania animacji w czasie rzeczywistym.
- Framework treningowy (v1.0) – pozwala na tworzenie własnych modeli z użyciem prywatnych danych.
- Modele i dane treningowe – regresyjne (v2.2) i dyfuzyjne (v3.0) modele lip-sync oraz modele Audio2Emotion (v2.2 i v3.0).
NVIDIA rzadko decyduje się na otwieranie swoich narzędzi, ale tym razem zrobiła wyjątek – i to w obszarze, w którym konkurencja praktycznie nie istnieje. Można się spodziewać, że Audio2Face szybko znajdzie zastosowanie nie tylko w grach, lecz także w filmach, VR, aplikacjach społecznościowych czy nawet systemach obsługi klienta.
Źródło: NVIDIA
