Technologia z PW wykorzystana w serialu BBC America

Comixify – początkowo aplikacja do przekształcania filmów i zdjęć w komiks, obecnie również Platforma VFX wspierająca postprodukcję wideo, stworzona i rozwijana przez zespół związany z Wydziałem Elektroniki i Technik Informacyjnych Politechniki Warszawskiej – pomogła w pracach nad serialem „The Watch” na podstawie książek Terry’ego Pratchetta. 

Platformę VFX Comixify wykorzystano do przekształcenia nagranych scen w animacje. Zajmujące się postprodukcją serialu brytyjskie studio Lola Post Production skorzystało z technologii transferu stylu, czyli ze specjalnych filtrów, które aplikują konkretny rysunkowy styl animacji na nagrane wideo. 

Technologia ta wykorzystuje doświadczenie nabyte z wcześniej udostępnionej wersji. Wystarczy przesłać film lub zdjęcia, wybrać styl i oglądać wygenerowaną w ten sposób animację. 

Autorska technologia

– Opracowaliśmy własną technologię transferu stylu (Style Transfer), opartą na uczeniu maszynowym (Deep Learning Generative Adversarial Networks) – wyjaśnia Paweł Andruszkiewicz – jeden z twórców Comixify, absolwent naszego Wydziału Elektroniki i Technik Informacyjnych. – W ten sposób jesteśmy w stanie stworzyć styl inspirowany danym artystą na podstawie reprezentatywnych namalowanych lub narysowanych prac. Następnie możemy zastosować ten styl w dowolnej sekwencji wideo, zachowując przy tym najwyższą jakość. 

Metoda wykorzystana w transferze stylu zakłada uczenie dwóch sieci neuronowych: Generator (model aktualnej stylizacji) i Discriminator (model pomocniczy, którego celem jest rozróżnienie, czy dana praca została stworzona przez sztuczną inteligencję, czy przez rysownika).

– Taka para sieci neuronowych, trenowana jednocześnie, jest podstawą szkolenia – zaznacza Paweł Andruszkiewicz. – Dodatkowo, aby usprawnić i znacznie przyspieszyć proces uczenia, wykorzystujemy próbki zawierające pary obrazów: oryginalne zdjęcie oraz jego przerysowaną przez artystę wersję.

Stylizacje w „The Watch”

Efekty współpracy zespołu Comixify i Lola Post Production można podziwiać w dwóch odcinkach „The Watch” – piątym i szóstym. Transfer stylu wykorzystano m.in. do komiksowego przekształcenia czarodzieja i stylizacji kadrów archiwalnego filmu, który oglądają bohaterowie. 

Jak to wygląda? Wybrane sceny można zobaczyć na blogu Comixify

Lola Post Production, poszukując najnowszych technologii, które optymalizują koszty postprodukcji wideo, bardzo szybko doceniła oferowany przez Comixify.ai Style Transfer. Po rozmowach z Lola Posta i BBC America finalnie ustalono, że technologia zostanie wykorzystana do modyfikacji treści w odcinkach pierwszego sezonu serialu. 

Na potrzeby BBC America wykorzystano przeszło 25 000 klatek, które zostały przestylizowane w Platformie VFX. Producenci skorzystali z istniejących stylów i dodali drobne modyfikacje w procesie finalnej postprodukcji.

Sama praca na platformie jest niezwykle intuicyjna, a dziesięciosekundowy materiał zostaje przekształcony w mniej niż 120 sekund. 

Serial „The Watch” to policyjny dramat fantasy inspirowany serią książek „Świat Dysku” Terry’ego Pratchetta, osadzony w fikcyjnym mieście Ankh-Morpork. Pierwszy sezon ma 8 odcinków. Każdy z nich skupia się na innej zagadce rozwiązywanej przez Straż Miejską dowodzoną przez Samuela Vimesa. 

Premiera serialu odbyła się 3 stycznia 2021 roku. 

Zespół Comixify tworzą: 

• dr hab. inż. Tomasz Trzciński – dyrektor generalny (adiunkt na Wydziale Elektroniki i Technik Informacyjnych PW, Instytut Informatyki, Zakład Grafiki Komputerowej),
• Maciej Pęśko – dyrektor ds. technologii (absolwent Wydziału Elektroniki i Technik Informacyjnych PW),
• Adam Svystun – programista (absolwent Wydziału Elektroniki i Technik Informacyjnych PW), 
• Paweł Andruszkiewicz – specjalista od sztucznej inteligencji (absolwent Wydziału Elektroniki i Technik Informacyjnych PW), 
• Bolesław Michalski – dyrektor operacyjny oraz ds. marketingu,
• prof. dr hab. inż. Przemysław Rokita – doradca ds. naukowych (profesor na Wydziale Elektroniki i Technik Informacyjnych, Instytut Informatyki, Kierownik Zakładu Grafiki Komputerowej).

Więcej informacji o Comixify na blogu, Facebooku i Twitterze