Niemal każdy obiekt, jaki napotykasz w ciągu dnia, został przeznaczony do współpracy z ludzką ręką. Nie jest zatem niczym dziwnym, że prowadzone są liczne badania polegające na śledzeniu gestów rąk, w celu stworzenia bardziej intuicyjnych interfejsów komputerowych. Za przykład może posłużyć DeepHand Purdue University lub produkt komercyjny, Leap Motion. Obecnie Microsoft ukazał kilka projektów, w ramach których zajmuje się technologiami śledzenia rąk, rozpoznawania gestów, czy feedbackiem dotykowym.

Jak twierdzi Jamie Sotton, badacz Microsoftu pracujący w laboratoriach brytyjskiego Cambridge, dotyk jest istotną częścią sposobu, w jaki poznajemy nasze środowisko – należy zatem pozwolić na jego wykorzystanie również w przypadku obiektów wirtualnych.

Według naukowców, śledzenie gestów stanowi kolejny krok w rozwoju ludzkich interakcji z komputerami i urządzeniami przenośnymi. W połączeniu z komendami głosowymi, tradycyjne fizyczne metody wprowadzania poleceń (tuchscreeny, klawiatury…), pozwolą środowiskowym systemom komputerowym (np. opartym o Internet rzeczy) lepiej przewidzieć nasze potrzeby.

Najtrudniejszy jest początek – ludzka ręka jest niesamowicie skomplikowanym tworem i śledzenie wszystkich możliwych konfiguracji stanowi nie lada problem. Na tym właśnie skupia się Handpose, projekt prowadzony przez laboratorium Microsoftu w Cambridge. Co ciekawe, wykorzystywany jest sensor Kinecta – taki sam, jaki można dokupić do konsoli Xbox. Wykorzystywany jest w czasie rzeczywistym do tworzenia wirtualnego odwzorowania wszystkiego, co robi ręka.

Narzędzie to jest dostatecznie precyzyjne, by pozwolić użytkownikom na operowanie wirtualnymi przełącznikami i gałkami z precyzją, której można oczekiwać po fizycznych rękach. Co więcej, oprogramowanie działa na komercyjnych urządzeniach, takich jak tablety. Jak twierdzi Shotton, badania są już na takim etapie rozwoju, że „wirtualna ręka” niemal daje wrażenie prawdziwej.

Innym kluczowym aspektem odczuwania cyfrowej ręki jako własnej wiąże się ze zmysłem dotyku. Choć użytkownicy przełączników Handpose wciąż twierdzili, że czują się „pochłonięci” przez system, nawet bez haptycznego feedbacku, zespół Microsoftu w Redmond eksperymentuje z czymś bardziej zaawansowanym.

System, o którym mowa jest w stanie tylko na podstawie ruchu dłoni rozpoznać, że fizyczny przycisk – niepołączony z niczym w prawdziwym świecie – został naciśnięty. Wykorzystane systemu zmiany celów pozwala na wielokrotne, czułe na „kontekst” wprowadzanie poleceń do wirtualnego świata.

Oznacza to, że limitowany zestaw wirtualnych obiektów na małym „prawdziwym” panelu wystarczy, by oddziaływać na skomplikowany zestaw wirtualnych suwaków i gałek – na przykład symulowany kokpit samolotu. Fałszywe, fizyczne przyciski pozwalają sprawić, by wirtualny interfejs sprawiał wrażenie prawdziwego.

Trzeci projekt pochodzi z Advanced Technologies Lab Microsoftu w Izraelu. Badania nad Projektem Praga mają na celu umożliwić twórcom oprogramowania dobór gestów dłoni, jako metod wprowadzania poleceń do programu przez użytkownika. Przykładowo, udawane przekręcenie klucza mogłoby zablokować komputer, a „odłożenie słuchawki” – zakończyć rozmowę na Skype.

System został zbudowany poprzez wprowadzenie do komputera milionów różnych pozycji dłoni. Wykorzystano przy tym algorytm uczenia maszynowego w celu „wytrenowania” maszyny, tak by rozpoznawała różne, specyficzne gesty. Wykorzystano przy tym setki mikro-sztucznych inteligencji, by zbudować kompletny obraz pozycji dłoni użytkownika, oraz dopasować je do powiązanych zamierzeń. Co ciekawe, do „skanowania” dłoni wykorzystuje się jedynie komercyjną kamerę 3D.

Poza grami komputerowymi i wirtualną rzeczywistością, technologia mogłaby znaleźć zastosowanie przy codziennych czynnościach – takich jak przeglądanie sieci, czy tworzenie i dawanie prezentacji.

Pracę Handpose i Project Prague prezentują poniższe filmy.

[źródło i grafika: gizmag.com]

Kolejny artykuł znajdziesz poniżej