Studenci Politechniki Warszawskiej w finale zawodów robotyki w Shenzhen

Reprezentanci Koła Naukowego Humanoid awansowali do finałowego etapu międzynarodowych zawodów robotów humanoidalnych organizowanych przez firmę EngineAI. Polska drużyna Brave Mind Fighters zajęła czwarte miejsce wśród 32 najlepszych zespołów, wyłonionych z 75 grup z całego świata. To jeden z najlepszych wyników w historii startów polskich zespołów studenckich w tej dyscyplinie i potwierdzenie wysokiego poziomu kształcenia inżynierskiego na Uczelni.

Koło Naukowe Humanoid działa przy Wydziale Mechatroniki Politechniki Warszawskiej, a w skład zespołu wchodzą również studenci Wydziału Elektroniki i Technik Informacyjnych. Za realizację projektu odpowiadają: Arkadiusz Cybulski, Piotr Gerke, Konrad Suchodolski, Nikodem Kuliś, Walery Kusznirski, Jacek Caban, Piotr Zarzycki.

Co umie robot?

Zadaniem konkursowym było nauczenie humanoidalnego robota dynamicznych scenariuszy walki – m.in. sekwencji bokserskich i ruchów wymagających utrzymania równowagi w trakcie szybkich, gwałtownych manewrów. Zamiast programować każdy ruch ręcznie, zespół zastosował uczenie ze wzmocnieniem (reinforcement learning): robot uczy się poruszać metodą prób i błędów w wirtualnym środowisku, wykonując miliony powtórzeń w symulacji, zanim jego „umiejętności” trafią na prawdziwą maszynę. Punktem wyjścia były ruchy prawdziwego człowieka.

– Opracowaliśmy własny, tani system przechwytywania ruchu (motion capture) w oparciu o sprzęt dostępny na rynku – kamery Kinect ze znanej konsoli Xbox – mówi Konrad Suchodolski. – Zarejestrowane ruchy trzeba było następnie przenieść na sylwetkę robota – proces zwany retargetingiem, bo robot ma inne proporcje, wagę i ograniczenia stawów niż człowiek. Zebrane i przetworzone ruchy trafiały do wspólnej biblioteki ruchów, z której korzystał zautomatyzowany potok treningowy uruchamiany na kartach graficznych. Dzięki takiej automatyzacji mogliśmy szybko testować kolejne warianty i porównywać wyniki, zamiast konfigurować każdy trening osobo.

Całość projektu skupia się obecnie na dwóch głównych filarach: modelach sztucznej inteligencji sterujących ruchem, a także autorskich rozwiązaniach programistycznych, które uwzględniają ograniczenia i specyfikację mechaniki robota bezpośrednio w środowisku wirtualnym.

Największe wyzwanie

Ponieważ na tym etapie wszystkie prace odbywały się wyłącznie w symulacji, największym wyzwaniem dla zespołu nie było jeszcze przeniesienie algorytmów na fizycznego robota, ale stworzenie wydajnego środowiska pracy (workflow) oraz osiągnięcie wysokiej jakości retargetingu.

Konieczność zarządzania ogromną ilością danych, automatyzacja procesu treningowego i optymalizacja czasu obliczeń wymagały zaprojektowania od podstaw płynnie działającego potoku technologicznego (pipeline'u). 

– Musieliśmy stworzyć architekturę, która pozwalała na szybkie iteracje i testowanie wielu wariantów sztucznej inteligencji w krótkim czasie – mówi Konrad Suchodolski.

Z kolei przeniesienie ruchów nagranych z udziałem człowieka na model robota o zupełnie innej kinematyce, proporcjach i rozkładzie masy okazało się zadaniem skomplikowanym. Ruchy w środowisku wirtualnym musiały wyglądać naturalnie, zachowywać dynamikę ciosów, a jednocześnie ściśle przestrzegać fizycznych ograniczeń maszyny, aby model AI mógł się na nich poprawnie uczyć.

Obraz (old)

Co dalej planuje KN Humanoid?

Kolejne etapy zawodów odbędą się w Shenzhen. Studenci Politechniki Warszawskiej będą tam wdrażać i testować opracowane modele bezpośrednio na fizycznych robotach dostarczonych przez producenta EngineAI – będzie to pierwsza okazja, by sprawdzić rozwiązania na docelowym sprzęcie w warunkach zawodów i zmierzyć się z tzw. sim-to-real gap (różnicą między symulacją a rzeczywistością).

Opracowane przez studentów rozwiązania oraz sam projekt humanoida przyciągają uwagę nie tylko środowiska naukowego, ale również opinii publicznej. Konstrukcja budzi duże zainteresowanie ogólnopolskich mediów, a przygotowania zespołu do międzynarodowego finału były w ostatnim czasie relacjonowane w programach telewizyjnych, co dodatkowo popularyzuje osiągnięcia naukowe Politechniki Warszawskiej.