Aplikacja, która pozwala usłyszeć obrazy z kosmosu

Jak może brzmieć przestrzeń? Przekształcaniem kosmicznych widoków w dźwięk zajmuje się NASA. Agencja szuka nowych rozwiązań. Jedno z nich zaproponowali podczas hackathonu studenci PW.

Dzięki tzw. sonifikacji NASA umożliwia odbiorcom, również osobom niewidomym i niedowidzącym, „słuchanie” obrazów astronomicznych uzyskanych dzięki teleskopowi Hubble’a czy Obserwatorium Rentgenowskiemu Chandra i poznawanie ich zawartości.

W ciągu ostatnich kilku lat agencja przekształcała na nuty i dźwięki dwuwymiarowe dane astronomiczne. Zaawansowane narzędzia pozwalają już na wytwarzanie obrazów 3D i to właśnie ich sonifikacją zajęli się podczas hackathonu NASA International Space Apps Challenge nasi reprezentanci.

W ramach zadania „Immersed in the sounds of space” Maciej Leszek i Piotr Wojciechowski – studenci inżynierii internetu rzeczy, Jakub Budrewicz – absolwent informatyki, a obecnie student elektroniki (wszyscy z Wydziału Elektroniki i Technik Informacyjnych PW), wraz z Michałem Oręziakiem z Wojskowej Akademii Technicznej musieli zaprojektować metodę tworzenia sonikfikacji zbiorów danych kosmicznych 3D, która pomoże odbiorcom je lepiej zrozumieć i docenić cuda wszechświata.

– Spośród kilkudziesięciu zadań wybraliśmy wyzwanie związane z sonifikacją. Nie słyszeliśmy wcześniej o tej technologii, ale dostrzegliśmy jak jest ona istotna – mówi Maciej Leszek. – Nasze rozwiązanie opiera się głównie na emocjach wywoływanych przez dźwięki. Stworzyliśmy aplikację AstroSonix, która umożliwia użytkownikowi, również osobom z niepełnosprawnościami, doświadczyć sonifikacji obrazów wykonanych przez teleskopy kosmiczne, naziemne oraz satelity – wyjaśnia.

Do analizy emocji towarzyszących wizualizacji studenci wykorzystali duże modele językowe. Za pomocą specjalnie tworzonych heurystyk dokonywana jest parametryzacja obrazu i konwersja na parametry ścieżek dźwiękowych. Łącząc dane z obu podejść aplikacja generuje ścieżkę dźwiękową, korzystając z otwartych modeli machine learning. Dzięki temu każdy może bezpłatnie stworzyć sonifikację, korzystając ze swojego telefonu czy laptopa.

Drużyna JeansMasters zajęła szóste miejsce, rywalizując z 71 zespołami. – Presja czasu była czymś, czego wcześniej nie doświadczyłem. W ciągu 30-godzinnego hackathonu spaliśmy tylko 30 minut – opowiada Maciej Leszek.
– Wysiłek nam się opłacił. Wszyscy zgodnie stwierdziliśmy, że chcemy wystartować również w przyszłym roku – dodaje.

Rozwiązanie mogłyby również wykorzystywać planetaria, muzea czy galerie sztuki, aby uatrakcyjnić gościom ich wizytę. – Dzięki interaktywnemu połączeniu obrazu oraz dźwięku odwiedzający mieliby możliwość spróbowania nowego połączenia zmysłów wzroku oraz słuchu, dzięki czemu ich odczucia powinny być pełniejsze, wywoływać dodatkowe emocje – mówi Maciej Leszek, który podczas hackathonu  wygrał również wyjazd do Betzdorf Campus w Luksemburgu – centrum zarządzania lotami kosmicznymi satelitów firmy SES.

– Będzie to na pewno wielka szansa na poszerzenie wiedzy dotyczącej satelitów, co mam nadzieję wykorzystać w Studenckim Kole Astronautycznym, do którego aplikuję – zaznacza.

Studenci już planują start w kolejnym hackathonie. Myślą również o założeniu koła naukowego skupiającego się przede wszystkim na udziale w tego typu wydarzeniach.