W skrócie DLSS (Deep Learning Super Sampling) pozwala zwiększyć rozdzielczość obrazu przy pomocy uczenia maszynowego sieci neuronowych, czyli odłamu sztucznej inteligencji. Zdezorientowani? Spokojnie, poniżej znajdziecie odpowiedź na pytanie czym jest DLSS firmy NVIDIA?
Jednak tak jak Ray-Tracing, czyli inną technologię NVIDIA można polecić do wykonania kartom bez stosownych rozwiązań sprzętowych, DLSS działa tylko i wyłącznie z kartami, które posiadają rdzenie Tensor. Te są obecne na pokładzie rdzeni modeli GeForce RTX w fizycznej formie i umożliwiają operowanie sztucznej inteligencji. Czym jednak są dokładnie te rdzenie?
Czytaj też: Test KFA2 GeForce RTX 3070 EX Gamer (1-Click OC)
Rdzenie Tensor, czyli mózg dla DLSS
Nie bez powodu NVIDIA wspomina o swoich rdzeniach Tensor, jako o rdzeniach wykonujących obliczenia z mieszaną precyzją, bo choć macierze danych, jakimi się zajmują, mają połowę dokładności, ale rezultat ich operacji może być rezultatem pełnej precyzji. Swoją drogą, tak się akurat składa, że matematyka wykorzystywana przez rdzenie Tensor jest powszechnie stosowana w uczeniu głębokim i wnioskach.
Obecnie rdzenie Tensor występują w trzeciej generacji za sprawą najnowszych kart graficznych RTX 3000 oraz architektury Ampere. Swoje korzenie Tensory mają jednak znacznie głębiej, bo po raz pierwszy zadebiutowały w niedostępnych dla konsumentów kartach NVIDIA Volta. Tam jednak nie były tak zaawansowane, jak w przypadku architektury Turing i kart RTX 2000.
Zanim jednak wyjaśnimy rolę rdzeni Tensor, warto przypomnieć, że te istnieją obok stosowanych od dawna przez NVIDIA rdzeni CUDA. Te z kolei działają na zasadzie obliczeń, jako że każdy rdzeń CUDA może wykonać jedno precyzyjne obliczenie „na zegar” (stąd tak ważne jest taktowanie GPU). Rdzenie Tensor z kolei operują nie na jednym fragmencie, a macierzy 4×4 (o czterech kolumnach i wierszach) również „na zegar”. Więcej o nich tutaj.
Czytaj też: PR Manager NVIDIA o dostępności kart GeForce RTX 3000
DLSS przebył już swoją drogę
Pierwszy DLSS jaki wyszedł razem z premierą RTX 2000, może i działał lepiej od tradycyjnych funkcji sztucznego zwiększania rozdzielczości, ale i tak dużo mu brakowało. Wtedy też zresztą NVIDIA spróbowała sięgnąć po coś „wyżej”, co widzieliśmy w grze Control, gdzie DLSS został specjalnie przygotowane do tego stopnia, że nie wymagało nawet rdzeni Tensor.
Jednak wtedy w prace byli zaangażowani nawet inżynierowie firmy, co mijało się z celem. Twórcy mieli bowiem dostać w swoje ręce technologię, którą wystarczyło aktywować, nieco dopieścić… i tyle. Miała działać z „automatu”, a nie po wysiłku ze strony specjalistów.
To dopiero wprowadziła druga generacja technologii, czyli DLSS 2.0, która znacząco poprawiła stan technologii z pierwszej generacji. Ta wersja jest już dostępna dla deweloperów bardziej ogólnie i to bez potrzeby zgłaszania się do NVIDII, a na dodatek znacznie bardziej elastyczna.
Tam gdzie DLSS 1.0 musiał osobno uczyć się, jak miał wyglądać docelowy obraz dla każdej gry, DLSS 2.0 poniekąd „uczy się gier” za sprawą bardziej rozbudowanej sieci sztucznej inteligencji. Tą nieustannie uczy się (stąd termin uczenia maszynowego) w ramach platformy Neural Graphics Framework za sprawą ogromnych zestawów danych w postaci zrzutów ekranów wykonanych w szalenie wysokich rozdzielczościach z wykorzystaniem superkomputerów i tych niższych, wykorzystując zarówno obrazy, jak i wektory ruchu.
Jak czytamy w oświadczeniu NVIDIA:
Specjalny typ sieci SI, zwany autoenkoderem splotowym (konwolucyjnym), pobiera bieżącą klatkę o niskiej rozdzielczości i ostatnią klatkę o wysokiej rozdzielczości, aby piksel po pikselu określić, jak wygenerować bieżącą klatkę o wyższej jakości.
Podczas szkolenia sieci SI obraz wyjściowy jest porównywany z obrazem referencyjnym 16K (natywnie renderowanym w tej ultrawysokiej jakości), a różnice są przekazywane z powrotem do sieci, dzięki czemu może ona nadal uczyć się i poprawiać swoje wyniki.
Trudno cały proces wyjaśnić, więc wyobraźcie sobie, że DLSS jest „trenowany” do swojego działania w ten sposób, że zrzuty ekranu w niskiej rozdzielczości traktuje jako te złe, a w wyższej, jako te dobre. Zadanie DLSS zadanie polega na tym, żeby z „tych złych” zrobić „te dobre”, dostrzegając różnice między zestawami i za pomocą swoich mechanizmów te różnice zniwelować. Efektem jest przerobiony obraz np. z Full HD na 4K przy zachowaniu naturalności i prawie równej albo wręcz wyższej jakości. Chwila… co?
Jeśli słusznie zastanawia Was, jakim sposobem DLSS umożliwia okazjonalnie nie tylko podbicie rozdzielczości, ale też wyciśnięcie z obrazu wyższej szczegółowości, to jest to „skutek uboczny”, w jaki DLSS w rzeczywistości działa.
Gra, to poniekąd interaktywny film, na którego mamy bezpośredni wpływ, ale który zgodnie z ogólną zasadą „pokazuje” nam wszystko klatka po klatce w określonym czasie. Technologia porównuje więc te klatki między sobą i jako że wie, co było w poprzednich i co jest w tych obecnych, które generuje, jest w stanie obraz ustabilizować, ujednolicić, podbijając tym samym ogólną jakość poprzez niwelowanie szumów, czy rozmyć.
Warto zaznaczyć, że DLSS 2.0 oferuje użytkownikom 3 tryby jakości obrazu (Quality, Balanced, Performance) kontrolujące rozdzielczość renderowania, gdzie koncentruje się na jakości, liczbie FPS i złotym środku między płynnością i jakością.
Tensor, DLSS i zużycie energii
Co ciekawe, chociaż to sprzętowe rozwiązanie, rdzenie Tensor mogą obniżyć ogólne zużycie energii przez kartę graficzną, jako że zmniejszają jej obciążenie. Karta może być bowiem obciążona w mniejszym stopniu, kiedy musi renderować obraz nie w 4K, a jedynie Full HD, które DLSS podbije do pożądanego 4K.
Warto pamiętać, że to rozdzielczość sama w sobie jest najbardziej obciążającym ustawieniem dla kart graficznych, bo mówimy tutaj o generowaniu 1920×1080 pikseli (w Full HD) i 3840×2160, czyli dwa razy więcej w 4K. Ten efekt osiągnie się jednak przy ograniczeniu liczby klatek, bo w innym przypadku uzyskana moc obliczeniowa zostanie przeznaczona po prostu na wygenerowanie wyższej liczby klatek.
Warto przy tym zaznaczyć, że DLSS nie zadziała za każdym razem. W rzeczywistości będzie w stanie pokazać pazur tylko przy dużym obciążeniu karty graficznej i przy stosunkowo niewielkiej liczbie klatek na sekundę, gdzie „niewielkiej” oznacza bardziej poniżej 60, niż 200 FPS. Dlatego ta technologia spisuje się bardziej w grach AAA, czyli tych najbardziej wymagających sprzętowo, choć i tak nadal nie jest szeroko stosowana na rynku, trafiając co jakiś czas do kolejnych gier w ramach aktualizacji.
Świetnie widać to po Cyberpunku 2077, gdzie aktywacja DLSS (z inteligentnym ustawieniem automatycznym) tak naprawdę jest jedyną opcją, aby grać w 4K na najwyższych ustawieniach w przyzwoitej liczbie FPS przy włączonym ray-tracingu. Tam DLSS podbija płynność prawie dwukrotnie, robiąc nierzadko z 30 FPS aż 55 FPS.
Czytaj też: Test MSI GeForce RTX 3060 Ti Gaming X Trio
Innymi słowy, to idealny przykład, jak bardzo potrzebujemy technologii DLSS w grach tak graficznie dopracowanych, które wyciskają nawet z topowego sprzętu na rynku siódme poty. Dlatego przynajmniej ja widzę w tej technologii szansę na m.in. rozwój gier VR i rozpowszechnienie rozdzielczości 4K nawet w średnim segmencie.
