Jak stworzyć swoją wirtualną tożsamość? Nowatorski pomysł z udziałem absolwentów PW

Kilka lat temu opracowali technologię do zamiany wideo i zdjęć w komiks. Dzisiaj zajmują się budowaniem narzędzi do kreowania awatarów, które będą mogły nas reprezentować w świecie online. Zadanie jest częścią globalnego projektu związanego z internetem przyszłości.

W takim internecie, nazywanym web3, znajdują się zdecentralizowane aplikacje działające w technologii blockchain. Nacisk kładzie się tam na użytkowników, a nie – jak obecnie, w web2 – na informację. Kluczowymi wartościami i celami są zapewnienie prywatności, bezpieczeństwa i pełnej własności danych. Wspólna wirtualna rzeczywistość pozwoli na przenikanie się poszczególnych światów przy pomocy wykreowanych awatarów. To właśnie nad narzędziami do tej kreacji pracują absolwenci Wydziału Elektroniki i Technik Informacyjnych PW: Paweł Andruszkiewicz, Maciej Pęśko i Adam Svystun.

Komiksy, sztuczna inteligencja i Terry Pratchett

Kilka lat temu, jeszcze jako studenci, z pomocą prof. Tomasza Trzcińskiego i wspierani przez prof. Przemysława Rokitę, stworzyli algorytm do przekształcania wideo w komiks. Comixify automatycznie wybierał najciekawsze i najważniejsze klatki z przesłanego filmu, a potem układał je, dopasowywał do ramek i przerabiał graficznie. Wszystko dzięki sztucznej inteligencji. Wystarczyło dodać wideo na utworzonej w tym celu stronie, wykonać kilka kliknięć i otrzymywało się komiks.

Pod koniec 2018 roku ukazała się pierwsza publikacja o projekcie. A potem ruszyła lawina. Comixify zrobił furorę w świecie nauki, biznesu, rozrywki i w mediach, nie tylko w Polsce. Twórcy cały czas rozwijali swój pomysł, dodawali nowe funkcjonalności, zdobywali źródła finansowania, kontakty, a także nagrody, uznanie i rozpoznawalność. To zaowocowało m.in. współpracą przy serialu BBC America „The Watch” na podstawie książek Terry’ego Pratchetta. Wykorzystano tam opracowaną przez zespół z PW technologię transferu stylu opartą na uczeniu maszynowym. Dzięki temu na podstawie narysowanych lub namalowanych prac można odtworzyć konkretny styl, a następnie zastosować go w wideo.

Droga do sukcesu

Wkrótce potem twórcy wyjątkowej komiksowej technologii nawiązali współpracą z amerykańsko-czeskim start-upem Alter. To grupa, który rozwija zaawansowane rozwiązania wspierające rozwój internetu przyszłości oraz budowanie spójnego wirtualnego świata w ramach technologii metaverse.

Paweł Andruszkiewicz, Maciej Pęśko i Adam Svystun ostatecznie dołączyli do firmy Alter i już jako jej pracownicy mierzą się z nowymi wyzwaniami.

– Stworzyliśmy najlepszą na świecie technologię awatarów, która spełnia potrzeby programistów — mamy podstawowe elementy, których potrzebuje rynek, a zespół Comixify to klucz w realizacji naszej wizji — mówi Jon Slimak, dyrektor operacyjny start-upu Alter.

– Avatary to przyszłość tego, jak łączymy się online, ale technologia jest wciąż nowa – dodaje Robin Raszka, dyrektor generalny i założyciel firmy. – Dzisiaj potrzeba dużo pieniędzy i czasu, żeby budować przestrzenie cyfrowe nowej generacji i tworzyć od zera świetnie wyglądające treści 3D, które są przyjazne dla użytkownika. My to zmieniamy.

A pomagają w tym nasi absolwenci.

Jak powstają awatary?

– Najważniejszym produktem, który budujemy w Alterze, jest Alter SDK – multiplatformowy zestaw narzędzi dla programistów, pozwalający w łatwy sposób dodać do własnej aplikacji wsparcie dla trójwymiarowych awatarów – wyjaśnia Paweł Andruszkiewicz.

Alter SDK składa się z trzech podstawowych modułów: systemu generowania awatarów 3D w czasie rzeczywistym (opartego o autorski silnik renderujący), modułu do przechwytywania ruchu twarzy oraz Avatar Designera – interfejsu i komponentów pozwalających w łatwy sposób tworzyć własne avatary.

Rozwiązanie pozwala generować wiele formatów avatarów, np. tylko głowę lub popiersie z ubraniami. Oferuje również ogromny wybór różnych akcesoriów. Wkrótce dostępny będzie również kolejny format avatara – cała postać. Już teraz system pozwala tworzyć wizerunki dla osób różnej płci i w różnym wieku, a nawet nie tylko awatary ludzkie.

– Alter kładzie nacisk na stworzenie systemu, który będzie jak najbardziej przyjazny programistom – łatwy do zastosowania, możliwy do integracji z dowolną aplikacją czy grą – opowiada Adam Svystun. – Nasze narzędzia są bardzo łatwo konfigurowalne (np. stworzyliśmy JSON-owy plik konfiguracyjny, nazwany przez nas Avatar Matrix, pozwalający na definiowanie avatarów z poziomu tego pliku). Od początku SDK budowane jest z myślą o charakterystycznej dla web3 interoperacyjności.

Paweł, Maciek i Adam zajmują się przede wszystkim rozwojem systemu do przechwytywania ruchu twarzy, tzw. mocap4face. Moduł ten, przy pomocy zaawansowanego przetwarzania obrazu oraz wykorzystaniu sztucznych sieci neuronowych, pozwala na dokładne obserwowanie wyrazu twarzy. Śledzi ponad 40 różnych ekspresji.

– Głównym zadaniem naszego zespołu jest rozwój tego elementu stosu technologicznego, m.in. poprzez ulepszenie danych trenujących, rozwój wykorzystywanej architektury sieci neuronowej oraz procesu trenowania – tłumaczy Maciej Pęśko. – Skupiamy się zarówno na poprawie jakości modułu przechwytywania twarzy, jak i na optymalizacji wydajności tego modułu na wszystkich wspieranych platformach.

Jeśli projekt będzie się rozwijał w takim tempie, już niedługo świat awatarów stanie się naszą codziennością.