Znak Politechniki Warszawskiej

Wspólny projekt PW i Microsoftu

W projekcie zostaną wykorzystane dwa sposoby: Partial Information i Low-shot learning

Nasza Uczelnia znalazła się wśród laureatów najnowszej edycji programu wsparcia doktorantów Microsoft Research PhD w regionie EMEA (Europa, Bliski Wschód, Afryka). Dzięki temu we wspólnym projekcie badawczym Politechniki Warszawskiej i Microsoft Research Cambridge weźmie udział jeden z naszych doktorantów.

Program Microsoft Research PhD uruchomiono w 2004 r. Jak dotąd pomógł ponad 200 doktorantom z blisko 20 krajów i 51 instytucji. W tym roku do tego grona dołączyła Politechnika Warszawska.

W gronie 16 wyselekcjonowanych do finansowania aplikacji (m.in. z takich uniwersytetów jak Cambridge czy Oxford) znalazł się projekt badawczy pt. „Low Shot Realistic Human Rendering from Partial Information” („Realistyczne renderowanie postaci ludzi na podstawie niepełnej informacji”).

Nowatorski pomysł

Autorami wniosku i opiekunami naukowymi projektu są dr hab. inż. Tomasz Trzciński z działającego w strukturze Wydziału Elektroniki i Technik Informacyjnych Zakładu Grafiki Komputerowej Instytutu Informatyki oraz absolwent naszej uczelni – dr inż. Marek Kowalski, aktualnie pracujący w Microsofcie.

– W projekcie chcemy wykorzystać generatywne modele sieci neuronowych do tworzenia wysokiej jakości wizualizacji postaci oraz animacji ich ruchu – wyjaśnia dr Trzciński. – Wyzwaniem badawczym, które przed sobą stawiamy, jest ograniczenie ilości danych potrzebnych do wytrenowania takich algorytmów, a także jakość rezultatów, które mają być nieodróżnialne od efektów uzyskanych tradycyjnymi metodami generowania grafiki.

Dlaczego to ważne?

W grach wideo i filmach coraz częściej wymagane jest tworzenie wysokiej jakości animacji postaci ludzkich. Rozwiązania wykorzystywane w takich technikach, jak VR (wirtualna rzeczywistość), AR (rozszerzona rzeczywistość) czy CGI (obrazy generowane komputerowo) zajmują dużo czasu, są drogie i trudne do skalowania.

Praca nad cyfrową postacią zazwyczaj rozpoczyna się od skanu 3D twarzy czy ciała prawdziwej osoby wykonującej różne czynności. Taki skan wymaga specjalistycznego sprzętu, a potem jest jeszcze przetwarzany przez grafików. Na tym nie koniec. Aby realistycznie animować model, potrzeba także aktora, który wykona pożądane sekwencje w specjalnym studiu „przechwytywania ruchu” (tzn. motion capture). W ten sposób powstały chociażby takie kultowe filmowe postaci jak Gollum z „Władcy Pierścieni”, Na-vi z „Avatara” czy Hulk (odgrywany przez Marka Ruffalo) w serii „Avengers”.

– Zamierzamy ułatwić powstawanie awatarów, wykorzystując do tego dwa sposoby: Partial Information (częściowe informacje) i Low-shot learning (uczenie się przy niskim poziomie zaawansowania) – tłumaczy dr Trzciński.

Jak to ma działać?

Cel jest prosty – z częściowych informacji (np. fragmentu twarzy) i podstawowych, łatwych do zebrania danych, bez wykorzystywania skomplikowanych systemów wymagających wielu powtórzeń (w jednej z opisanych metod człowiek musi użyć 122 wyrażenia i 50 zdań oraz być rejestrowanym przez 40 kamer) – wygenerować realistycznie wyglądające filmy (np. z pełną twarzą i mimiką oraz naturalnym sposobem mówienia).

Dla kogo stypendium?

Do 31 lipca trwa rekrutacja na doktoranta – uczestnika programu. Więcej informacji w ogłoszeniu i na naszej stronie