Przejdź do treści

GeoGen: Geometry-Aware Generative Modeling via Signed Distance Functions

Przedstawiamy nowatorskie podejście do generowania trójwymiarowej geometrii i obrazów z kolekcji pojedynczych ujęć. Dotychczasowe metody bazujące na estymacji gęstości objętościowej pozwalały renderować spójne wizualnie obrazy. Jednak tworzyły one modele geometryczne z szumem i bez wyraźnie zdefiniowanych powierzchni, co ograniczało ich praktyczne zastosowanie. Nasza metoda GeoGen rozwiązuje ten problem wykorzystując reprezentację opartą na funkcji odległości ze znakiem (SDF). Zamiast estymować gęstość materii, modelujemy odległość punktów od powierzchni obiektu. Pozwala to na wprowadzenie matematycznych ograniczeń generujących precyzyjniejsze i gładsze siatki geometryczne. Wyzwaniem było zachowanie szczegółów powierzchni przy jednoczesnym utrzymaniu integralności modelu. Początkowo stosowane ograniczenia geometryczne eliminowały istotne detale wizualne. Rozwiązaliśmy ten problem implementując uczenie się transformacji między reprezentacjami. Wprowadziliśmy również warunek spójności między renderowaną mapą głębokości a zerem funkcji SDF. Zastosowanie uczenia z adwersarzem umożliwiło odzyskanie dokładniejszych detali powierzchni. Dla rzetelnej ewaluacji stworzyliśmy syntetyczny zbiór danych modeli twarzy obserwowanych z pełnego zakresu kątów. Eksperymenty na różnorodnych zbiorach danych wykazały, że GeoGen generuje modele o porównywalnej jakości wizualnej i znacząco lepszej geometrii niż poprzednie podejścia. Ta technologia otwiera nowe możliwości w obszarach grafiki komputerowej, modelowania 3D i rozszerzonej rzeczywistości, bazując wyłącznie na danych z pojedynczych ujęć.

Materiał konferencyjny:

Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW 2024), IEEE Computer Society Conference on Computer Vision and Pattern Recognition workshops

Autorzy z PW:

Kacper Kania

Rok wydania: