Przejdź do treści

Publikacje

Wartość? 200 punktów

Publikacje to nieodłączna część pracy naukowców. To publikacje opisują i podsumowują dorobek badawczy, często wielomiesięczny albo nawet wieloletni wysiłek, budują pozycję naukowców i całych zespołów. Są także elementem ewaluacji – oceny konkretów osób, a co za tym udzie – całych dyscyplin.

Na poniższej liście prezentujemy najwyżej punktowane publikacje (czyli takie za 200 punktów), w które wkład mieli naukowcy z Politechniki Warszawskiej. Wykaz obejmuje dane od początku 2023 roku.

BODIPY Dyads Based on Fused-Ring Organoboron Scaffolds for Efficient Photodynamic Therapy Targeting Candida albicans Yeast and Biofilms

Zaprojektowano serię niezawierających atomów ciężkich fotosensybilizatorów C-BODIPY, opartych na pięciu różnych typach boroorganicznych szkieletów o skondensowanych pierścieniach przeznaczonych do zastosowania w przeciwgrzybiczej terapii fotodynamicznej. Barwniki sfunkcjonalizowano przez wprowadzenie dodatnio naładowanej czwartorzędowej grupy amoniowej lub ugrupowania 3-(etylodimetyloamonio)propano-1-sulfonianowego o charakterze jonu obojnaczego. Badania spektroskopowe, elektrochemiczne i fotokatalityczne, wsparte obliczeniami DFT, wykazały kluczową rolę struktury boroorganicznej w generowaniu stanów trypletowych. Większość kompleksów BODIPY generuje duże ilości reaktywnych form tlenu (ROS), przy czym stosunek ilości ROS powstających w mechanizmie typu I do ilości ROS powstających w mechanizmie typu II zależy od struktury elektronowej pierścienia zawierającego atom boru. Badania aktywności przeciwgrzybiczej wykazały bardzo wysoką skuteczność wobec oportunistycznych drożdży Candida albicans przy niskich stężeniach (1,1 μg/mL). Uzyskano redukcję liczby komórek planktonicznych sięgającą wartości 7 log, a także wykazano znaczną fotoaktywność wobec biofilmu, przy czym redukcja wartości MFC sięgała 4,3 log. Badania mechanizmu śmierci komórkowej wykazały, że komórki poddane fotoinaktywacji ulegają apoptozie. Ponadto wykazano, że kompleksy BODIPY ograniczają adhezję komórek do powierzchni biotycznych, zapobiegając powstawaniu biofilmu.

Artykuł:

Journal of Medicinal Chemistry

Rok wydania:

Autorzy z PW:

Karolina Urbanowicz, Paulina Marek-Urban, Karolina Wrochna, Marta Rogalska, Kamil Kotwica, Izabela Nasiłowska, Maciej Trzaskowski, Jolanta Mierzejewska, Monika Staniszewska, Krzysztof Durka
 

A Robust CLEAN-like Approach to ISAR Image Decomposition with Non-stationary Signal Components

Radar z odwrotną syntetyczną aperturą (ISAR) budzi ostatnio duże zainteresowanie w kontekście zastosowań cywilnych i wojskowych, a obecne badania koncentrują się przede wszystkim na obrazowaniu, rozpoznawaniu i klasyfikacji obiektów. Aby wspomóc realizację tych zadań, obrazy ISAR często poddaje się dekompozycji w celu wyodrębnienia dominujących punktów rozpraszających. Zwykle zakłada się, że to one niosą najistotniejsze informacje. Powszechnie stosowany w tym celu algorytm CLEAN opiera się jednak na założeniu stacjonarności składowych sinusoidalnych, przez co pomija istotne zjawiska niestacjonarne, takie jak modulacja amplitudy i fazy. W artykule zaproponowano metodę dekompozycji obrazów ISAR, która jest odporna na niestacjonarność przebiegu i zachowuje informację o parametrach sygnału. Metoda ta, nazwana INSPIRE (ang. INformation-preserving Signal Processing for ISAR REconstruction, czyli przetwarzanie sygnałów z zachowaniem informacji na potrzeby rekonstrukcji obrazów ISAR), umożliwia dekompozycję dwuwymiarowych sygnałów niestacjonarnych na poszczególne składowe przy zachowaniu ich pełnej reprezentacji zespolonej. W przeciwieństwie do CLEAN proponowana metoda zachowuje zmiany zarówno amplitudy, jak i fazy wyodrębnionych składowych, nawet gdy ich przebieg odbiega od czysto sinusoidalnego. Ponadto, w odróżnieniu od technik rekonstrukcji wykorzystujących rzadką reprezentację sygnału, takich jak algorytm ortogonalnego poszukiwania dopasowującego (OMP, ang. Orthogonal Matching Pursuit), INSPIRE nie opiera się na założeniu rzadkości, które często stanowi ograniczenie w praktycznych zastosowaniach radarowych. Skuteczność metody INSPIRE potwierdzono na podstawie zarówno symulowanych danych radarowych, jak i wyników eksperymentalnych pomiarów ISAR. Wyniki porównania wykazują, że proponowana metoda zapewnia dokładniejszą dekompozycję sygnału niż CLEAN i OMP, wymaga znacznie mniejszej liczby iteracji i pozwala uzyskać obrazy o lepszej jakości. W szczególności potwierdzono, że skuteczne filtrowanie i rekonstrukcja obrazów ISAR są możliwe dzięki selektywnemu wyodrębnianiu składowych sygnału mających interpretację fizyczną, co prowadzi do tłumienia szumu i poprawy odwzorowania obiektu. Ocena ilościowa z wykorzystaniem standardowych miar, takich jak entropia, kontrast, wskaźnik podobieństwa strukturalnego i szczytowy stosunek sygnału do szumu, dodatkowo potwierdza zalety proponowanej metody.

Artykuł:

IEEE Transactions on Geoscience and Remote Sensing

Rok wydania:

Autorzy z PW:

Karol Abratkiewicz

MapsHD: A benchmark suite for LiDAR odometry frameworks

Artykuł przedstawia zestaw algorytmów i aplikację (toolbox) przeznaczoną do jakościowej i ilościowej oceny algorytmów odometrii LiDAR (LO, LiDAR Odometry) oraz odometrii LiDAR-inercyjnej (LIO, LiDAR-Inertial Odometry). Opracowane rozwiązanie udostępniono w ramach organizacji MapsHD w serwisie GitHub, wraz z pełną dokumentacją i niezbędnymi informacjami dotyczącymi wykorzystania oprogramowania.
Proponowany toolbox obejmuje zestaw narzędzi wspierających kompleksowy proces przygotowania danych, uruchamiania algorytmów odometrii oraz analizy uzyskanych wyników. W jego skład wchodzą: (a) narzędzie do przetwarzania danych referencyjnych (ground truth), (b) skonteneryzowane implementacje wybranych algorytmów LO i LIO reprezentujących aktualny stan wiedzy, (c) narzędzia do orientacji danych pochodzących z wielu sesji pomiarowych we wspólnym układzie współrzędnych, (d) implementacja metryk Absolute Pose Error (APE) oraz Relative Pose Error (RPE) służących do ilościowej oceny dokładności estymowanej trajektorii oraz (e) narzędzia importu i eksportu danych, ułatwiające ich dalsze przetwarzanie, analizę i wizualizację, między innymi z wykorzystaniem oprogramowania CloudCompare.
Oprogramowanie jest kompatybilne z formatami danych wykorzystywanymi w środowiskach ROS1 (Robot Operating System 1) oraz ROS2 (Robot Operating System 2), co umożliwia jego zastosowanie do danych generowanych przez różne systemy i platformy robotyczne. Istotnym elementem opracowanego rozwiązania jest również możliwość przeprowadzania porównawczych eksperymentów benchmarkowych dla szerokiego zbioru algorytmów odometrii LiDAR i LiDAR-inercyjnej. W ramach zaprezentowanego benchmarku uwzględniono algorytmy: LeGO-LOAM, LIO-SAM, FAST-LIO, DLO, VoxelMap, Faster-LIO, KISS-ICP, CT-ICP, SLICT, DLIO, GLIM, iG-LIO, LIO-EKF, I2EKF-LO, GenZ-ICP, RESPLE, odometry_ros_wrapper, Point-LIO oraz LOAM-Livox.
Przedstawione narzędzia umożliwiają zatem ujednolicenie procesu ewaluacji różnych metod estymacji ruchu na podstawie danych LiDAR i danych LiDAR-inercyjnych. Połączenie przetwarzania danych referencyjnych, standaryzacji układów współrzędnych, automatyzacji uruchamiania algorytmów oraz obliczania metryk APE i RPE pozwala na przeprowadzenie zarówno ilościowej, jak i jakościowej analizy wyników. Dla przeprowadzonych eksperymentów porównawczych udostępniono również materiały wideo prezentujące ich przebieg i uzyskane rezultaty.
 

Artykuł:

SoftwareX

Rok wydania:

Autorzy z PW:

Jakub Markiewicz, Sławomir Łapiński, Adam Kostrzewa

Synergistic Effects of Nanoparticles and Surface Anchoring on Fine-Tuning the Photonic Bandgap in Blue Phase Liquid Crystals

Precyzyjna kontrola przerwy fotonicznej w ciekłych kryształach fazy błękitnej (Blue Phase Liquid Crystals, BPLCs) pozostaje wyzwaniem ze względu na ograniczenia istniejących metod strojenia. W niniejszej pracy przedstawiamy dwutorowe podejście, które synergicznie łączy czynniki wewnętrzne i zewnętrzne, umożliwiając kontrolowaną, precyzyjną modulację przerwy fotonicznej w szerokim zakresie spektralnym wynoszącym 200 nm. W przypadku czynnika wewnętrznego nanocząstki (nanoparticles, NPs) osadzone w sieci krystalicznej BPLC zwiększają stabilność termiczną fazy błękitnej oraz zmniejszają rozmiar sześciennej komórki elementarnej, powodując przesunięcie pasma odbicia w kierunku krótszych długości fali. Z kolei czynnik zewnętrzny, czyli struktura chemiczna jednorodnych warstw porządkujących (alignment layers, ALs), wpływa na położenie spektralne odbicia Bragga. Poprzez systematyczną zmianę czterech typów warstw porządkujących oraz trzech poziomów domieszkowania nanocząstkami (0, 0,5 i 2%) zaobserwowano współdziałanie obu czynników w procesie przestrajania widma. Oddziaływania te zostały jakościowo wyjaśnione na podstawie pomiarów kąta zwilżania oraz analizy oddziaływań chemicznych na granicach faz LC-AL i LC-NP. Do potwierdzenia i ilościowej oceny przesunięć długości fali Bragga wykorzystano analizę diagramów Kossela wraz z parametrem opartym na całkowitym zakresie strojenia oraz powiązanymi miarami statystycznymi. Uzyskane wyniki pokazują, że połączona kontrola wewnętrzna i zewnętrzna stanowi skuteczną strategię regulacji odpowiedzi optycznej oraz właściwości termicznych ciekłych kryształów fazy błękitnej, wspierając ich zastosowanie w urządzeniach fotonicznych.
 

Artykuł:

ACS Nano

Rok wydania:

Autorzy z PW:

Kamil Orzechowski, Anna Kozanecka-Szmigiel, Tomasz Woliński
 

Dyscyplina:

Comparative Assessment of Organic–Mineral Fertilizer, Biochar, and Vermiremediation for Petroleum- Contaminated Alkaline Soils

Zanieczyszczenie gleb ropą naftową wciąż stanowi poważny problem środowiskowy, zwłaszcza w przypadku gleb zasadowych o dużej zawartości frakcji ilastej, w których silna adsorpcja i ograniczona dostępność składników pokarmowych utrudniają rozkład zanieczyszczeń przez mikroorganizmy. Dotychczas stosowane metody remediacji, w tym dodawanie biowęgla, wermiremediacja oraz stosowanie nawozów organiczno-mineralnych, dawały obiecujące wyniki jednak ich skuteczności w warunkach zasadowych pozostają słabo poznane. W niniejszym badaniu oceniono i porównano skuteczność nawozu organiczno-mineralnego otrzymanego z osadów ściekowych, biowęgla oraz wermiremediacji z wykorzystaniem dżdżownic Eisenia fetida/E. andrei w remediacji zanieczyszczonych ropą naftową gleb zasadowych o dużej zawartości frakcji ilastej (pH 8,0–8,6). Podczas 6-miesięcznej inkubacji monitorowano całkowitą zawartość węglowodorów ropopochodnych (TPH), zawartość wielopierścieniowych węglowodorów aromatycznych (PAHs), aktywność dehydrogenaz (DHA), zasobność gleby w składniki pokarmowe oraz zmiany stężeń metali ciężkich. Spośród badanych wariantów zastosowanie nawozu organiczno-mineralnego przyniosło najlepszy efekt: zmniejszyło zawartość TPH maksymalnie o 64%, a PAHs o 59%, jednocześnie zwiększając aktywność mikroorganizmów, poprawiając biodostępność składników pokarmowych i zobojętniając odczyn gleby. Biowęgiel był mniej skuteczny w rozkładzie węglowodorów, lecz lepiej adsorbował metale ciężkie i stabilizował węgiel w glebach, natomiast stosowanie dżdżownic zwiększało aktywność dehydrogenaz i usprawniało obieg składników pokarmowych, ale wykazywało zmienną skuteczność usuwania węglowodorów. Analizy wielowymiarowe potwierdziły, że potencjał dodatków organiczno-mineralnych w zrównoważonej rekultywacji gleb oraz w zastosowaniach związanych z gospodarką o obiegu zamkniętym. Sugerują zarazem, że przyszłe badania powinny koncentrować się na weryfikacji skuteczności tych rozwiązań w badaniach terenowych oraz na optymalizacji zintegrowanych metod łączących mechanizmy chemiczne, biologiczne i fizyczne.

Książka:

Land Degradation & Development

Rok wydania:

Autorzy z PW:

Małgorzata Kacprzak

Surrogate Management Strategies for Accelerating Parallel Algorithm Portfolio Construction

Wiele algorytmów wymaga starannego doboru parametrów, od czego w dużym stopniu zależy ich efektywność, przy czym żadna pojedyncza konfiguracja nie zapewnia najlepszych wyników dla wszystkich typów problemów. Automatyczna konfiguracja algorytmów umożliwia systematyczne przeszukiwanie przestrzeni parametrów i znajdowanie konfiguracji optymalnych dla danego problemu. Automatyczne konstruowanie równoległego portfolio algorytmów (ACPP, ang. Automatic Construction of Parallel Portfolio) rozwija tę ideę poprzez konfigurowanie i równoległe uruchamianie wielu solverów, wykorzystując ich wzajemnie uzupełniające się zalety w celu poprawy zdolności do uogólniania. Pomimo postępów w rozwoju metod ACPP, istniejące podejścia traktują czas konstrukcji portfolio jako stały zasób. Nie wykorzystują również w pełni danych o wynikach algorytmów zbieranych podczas konfigurowania portfolio. Aby przezwyciężyć to ograniczenie, w proponowanym rozwiązaniu wykorzystujemy dane generowane podczas konstruowania portfolio do uczenia modeli zastępczych, które zastępują kosztowne ewaluacje, zmniejszając narzut obliczeniowy. Aby wybrać skuteczne modele zastępcze, porównujemy różne metody uczenia maszynowego, w tym modele z dziedziny analizy przeżycia do obsługi danych cenzurowanych. Zdolności predykcyjne tych modeli oceniamy na podstawie danych wygenerowanych przez solver LKH podczas rozwiązywania instancji problemu komiwojażera. Na koniec proponujemy kilka strategii zarządzania modelami zastępczymi i włączamy je do istniejących metod konstruowania portfolio. Uzyskane wyniki wykazują, że modele oparte na analizie przeżycia zapewniają lepszą jakość predykcji niż standardowe metody uczenia maszynowego. Proponowane strategie zarządzania modelami zastępczymi pozwalają znacznie skrócić czas konstruowania portfolio przy zachowaniu akceptowalnej efektywności jego działania na nieznanych wcześniej instancjach testowych.

Artykuł:

IEEE Transactions on Evolutionary Computation

Rok wydania:

Autorzy z PW:

Grzegorz Zakrzewski, Jacek Mańdziuk  

Social Trust in Artificial Intelligence as a Condition for the Acceptance of Smart City Applications

Celem artykułu jest analiza wpływu zaufania społecznego na akceptację technologii sztucznej inteligencji (AI) w kontekście ich zastosowań w inteligentnych miastach. W artykule przyjęto model badawczy oparty na trzech kluczowych składowych zaufania: bezpieczeństwie, anonimowości i etycznym wykorzystywaniu danych. Ilościowe badanie ankietowe przeprowadzono techniką CAWI wśród 1500 mieszkańców miast wojewódzkich w Polsce. W analizie zastosowano modelowanie równań strukturalnych metodą cząstkowych najmniejszych kwadratów (PLS-SEM, ang. Partial Least Squares - Structural Equation Modeling). Wyniki wskazują, że wszystkie analizowane czynniki mają istotny wpływ na ogólny poziom zaufania społecznego, który z kolei determinuje deklarowaną gotowość do korzystania z aplikacji AI w inteligentnych miastach.

Materiał konferencyjny:

International Joint Conference on Artificial Intelligence (IJCAI)

Rok wydania:

Autorzy z PW:

Agnieszka Bitkowska

Laser-Induced-Structural Transformation in Ti3CNTx MXene Monitored by Raman Spectroscopy with DFT Insight

MXeny to nowa klasa dwuwymiarowych (2D) nanomateriałów, które budzą coraz większe zainteresowanie ze względu na szerokie możliwości modyfikowania ich struktury atomowej, składu oraz grup powierzchniowych. Analiza ramanowska jest powszechnie stosowana do badania właściwości strukturalnych i funkcjonalnych nanomateriałów, w tym MXenów (takich jak Ti3C2Tx i Ti3CNTx). Dotychczasowe piśmiennictwo dotyczące MXenu Ti3CNTx zawiera niespójne interpretacje widm oraz niejednoznaczne wskazówki dotyczące optymalnych warunków wzbudzenia laserowego i pozostaje w dużej mierze niezbadane. Aby uzupełnić te luki, przeprowadzono kompleksowe badania metodą spektroskopii Ramana MXenu Ti3CNTx otrzymanego w wyniku syntezy hydrotermalnej wspomaganej mikrofalami, stosując różne długości fali promieniowania wzbudzającego (457, 514,5, 532 i 660 nm) oraz różne moce lasera. W przeprowadzonej analizie dla każdej długości fali wyznaczono progowe wartości mocy lasera, poniżej których zachowane są cechy charakterystyczne dla MXenu, a powyżej których efekty fototermiczne prowadzą do powstawania węgla amorficznego i faz TiO2 oraz do domieszkowania azotem. Aby wesprzeć interpretację obserwacji doświadczalnych i ułatwić przypisanie pasm widmowych odpowiednim modom drgań, wykonano obliczenia w ramach teorii funkcjonału gęstości dla monowarstwy MXenu Ti3CNTx funkcjonalizowanej grupami ─OH, ─F i ─Cl. Dodatkowo oceniono stabilność środowiskową cienkiej warstwy MXenu Ti3CNTx w warunkach otoczenia. Materiał zachował nienaruszoną strukturę, a przez ponad miesiąc nie zaobserwowano znaczących zmian w widmach. Wyniki te otwierają drogę do zastosowania tych materiałów w zaawansowanych technologiach opartych na materiałach w stanie stałym i wykorzystujących obróbkę laserową, m.in. w czujnikach, elektrodach i elektronice.

Artykuł:

Small

Rok wydania:

Autorzy z PW:

Agnieszka Jastrzębska, Muhammad Abiyyu Kenichi Purbayanto, Dorota Moszczyńska, Narayan Som, Madhurya Chandel, Subrata Ghosh

A Transfer Learning SSVEP Decoding Algorithm Calibrated With Single-Trial Data

W systemach BCI opartych na SSVEP metody z uczeniem indywidualnym   zwykle osiągają istotnie lepsze wyniki rozpoznawania częstotliwości niż podejścia bez  treningu. Problemem jest jednak to, że zbieranie danych treningowych dla indywidualnych użytkowników wymaga eksperymentów kalibracyjnych, które są czasochłonne, obciążające dla użytkownika, co zniechęca do regularnego korzystania z systemów BCI.

Uczenie transferowe (TL, transfer learning) jest naturalnym kandydatem do złagodzenia tego problemu, ale typowe podejścia wymagają albo pewnej liczby próbek z domeny docelowej (nowy użytkownik / nowy system), albo bardzo dużej bazy danych z domeny źródłowej. W pracy po raz pierwszy wprowadza się koncepcję uczenia transferowego między zbiorami danych (cross-dataset transfer learning) w kontekście SSVEP, aby wykorzystać wiedzę zgromadzoną w innych bazach danych EEG. Autorzy zauważają przy tym poważne wyzwanie: niedopasowanie danych (data mismatch) pomiędzy zbiorami, które znacząco ogranicza skuteczność przenoszenia wiedzy. 

Aby temu zaradzić, proponują algorytm dekodowania TL-SSVEP kalibrowany danymi jedno-próbkowymi, nazwany TL-CSTD (Transfer Learning with Cross-Subject and Single-Trial Data). W szczególności wykorzystuje się jedynie 2 sekundy  jednopróbkowych danych kalibracyjnych z domeny docelowej przy częstotliwości 8 Hz do wyznaczenia dopasowanych wzorców transferowych z domeny źródłowej. Następnie wzorce te są korygowane tak, aby wydobyć zarówno globalną, jak i jednosegmentową wiedzę transferową, która służy do budowy wydajnego modelu dekodowania TL-SSVEP dla nowego użytkownika.

Eksperymenty przeprowadzone na trzech dużych zbiorach danych SSVEP pokazują, że opracowana metoda TL-CSTD skutecznie redukuje problem niedopasowania danych i osiąga bardzo dobre wyniki rozpoznawania, korzystając z minimalnej – 2-sekundowej – kalibracji jednopróbkowej. Wskazuje to na duży potencjał takiego podejścia dla praktycznych systemów BCI, które mają być łatwe w użyciu i szybkie w uruchomieniu. 

Artykuł:

IEEE Transactions on Neural Networks and Learning Systems

Rok wydania:

Autorzy z PW:

Andrzej Cichocki

Cross-Stimulus Transfer Learning Framework Using Common Period Repetition Components for Fast Calibration of SSVEP-Based BCIs

Metody dekodowania sygnałów SSVEP oparte na uczeniu nadzorowanym  osiągają dziś dobre wyniki, ale zwykle wymagają rozbudowanej kalibracji – osobno dla każdego bodźca i każdego użytkownika. Jest to uciążliwe i czasochłonne, co utrudnia praktyczne wdrażanie systemów BCI na szerszą skalę. 

W pracy zaproponowano ramy uczenia transferowego między bodźcami, oparte na tzw. wspólnych okresowych komponentach powtarzalnych (common period repetition components, CPRC), aby przyspieszyć proces kalibracji. Najpierw konstruuje się „tryb bodźca źródłowego”, który wykorzystuje periodycznie powtarzające się komponenty sygnału do zbudowania syntetycznego wzorca SSVEP oraz zespołowego filtra przestrzennego dla bodźca źródłowego. Następnie, wykorzystując wspólne informacje pomiędzy wzorcami komponentów okresowo powtarzalnych w wielu okresach stymulacji, estymuje się wspólną macierz mieszania źródłowego. 

W kolejnym kroku, biorąc pod uwagę podobieństwo pomiędzy bodźcami źródłowymi i docelowymi, buduje się model uczenia transferowego między bodźcami (cross-stimulus transfer learning framework), który pozwala przenosić informacje z jednego zestawu bodźców na inny. Testy offline na publicznych zbiorach danych SSVEP pokazują, że proponowana metoda CSTLF-CPRC przewyższa szereg metod uznawanych za stan sztuki, takich jak filter bank CCA, transfer learning CCA czy common impulse response cross-stimulus transfer learning, w scenariuszach szybkiej kalibracji. 

Co istotne, podejście to wymaga jedynie 16 sekund danych kalibracyjnych do klasyfikacji  40 wzorców sygnałów EEG na dwóch zbiorach danych, osiągając średnia szybkość transferu informacji  (information transfer rate) na poziomie 227,86 ± 106,47 bit/min oraz 162,41 ± 124,29 bit/min. Badanie pokazuje, że stosunkowo niewielka ilość danych kalibracyjnych może wystarczyć do uzyskania wysokiej skuteczności rozpoznawania, co otwiera drogę do bardziej praktycznych, szybciej wdrażanych systemów BCI. 

Artykuł:

IEEE Internet of Things Journal

Rok wydania:

Autorzy z PW:

Andrzej Cichocki

FlexFusionNet: An Inception and Residual Fusion-Based Method for Cross-Subject SSVEP Classification in BCI for Enhanced IoT Applications

Sygnały steady-state visual evoked potentials (SSVEP), czyli stacjonarne  wzrokowe potencjały wywołane, są szeroko wykorzystywane w interfejsach mózg–komputer (BCI, brain–computer interface), ponieważ charakteryzują się stabilnością i korzystnym stosunkiem sygnału do szumu. W kontekście Internetu Rzeczy (IoT, Internet of Things) kluczowym wyzwaniem pozostaje jednak uzyskanie prawdziwego trybu „plug-and-play”, w którym system BCI działa bez czasochłonnej kalibracji dla każdego użytkownika z osobna.

W pracy zaproponowano FlexFusionNet – metodę  głębokiego uczenia składająca się z kilku współpracujących modułów głębokich sieci neuronowych.  Wykorzystuje on m.in. blok typu inception do wieloskalowej ekstrakcji cech czasowych, ekstraktor cech przestrzenno–czasowych łączący hybrydowy blok konwolucji czasowo–przestrzennej oraz wielo-skalowy rezydualny blok fuzji, który pozwala jednocześnie uchwycić lokalne interakcje oraz zachować zależności globalne w sygnale. Dodatkowy moduł doprecyzowania czasowego służy do wzmacniania istotnych informacji w dziedzinie czasu. Wspólnie moduły te umożliwiają uczenie reprezentacji cech mniej wrażliwych na różnice pomiędzy użytkownikami, co sprzyja scenariuszom „cross-subject”. 

Szczególnie istotny jest wieloskalowy blok fuzji rezydualnej (MFRB), który integruje cechy czasowe na różnych skalach, a jednocześnie zachowuje strukturę globalną sygnału. Cała strategia integracji architektury została zaprojektowana tak, aby model był odporny zarówno w scenariuszach wewnątrzosobniczych (subject-specific), jak i międzyosobniczych (cross-subject). Metodę zweryfikowano na dwóch publicznych zbiorach danych SSVEP, Benchmark i BETA, przy różnych długościach okien czasowych. 

W eksperymentach cross-subject, przy długości okna 1,2 sekundy, uzyskano dokładność 74,57% oraz 122,28 bit/min ITR (information transfer rate) dla zbioru Benchmark, a także 62,60% dokładności i 89,86 bit/min ITR dla zbioru BETA, wyraźnie przewyższając klasyczne metody i znane dotychczas  modele głębokiego uczenia. FlexFusionNet osiąga bardzo dobre wyniki zarówno przy analizie pojedynczych użytkowników, jak i pomiędzy różnymi osobami, co pokazuje jego dużą zdolność uogólniania i potencjał do budowy praktycznych, przyjaznych użytkownikowi systemów BCI zintegrowanych z ekosystemami IoT. 

Artykuł:

IEEE Internet of Things Journal

Rok wydania:

Autorzy z PW:

Andrzej Cichocki 

Resisting Noise in Pseudo Labels: Audible Video Event Parsing With Evidential Learning

Percepcja zdarzeń czasowych oraz rozróżnianie ich typów modalnych w filmach audio–wideo, określane jako audio-visual video parsing (AVVP), stają się istotnym kierunkiem badań w dziedzinie multimodalnego rozumienia sekwencji obrazów i wideo. Zadanie AVVP jest zazwyczaj realizowane w ustawieniu uczenia słabo nadzorowanego (weakly supervised learning), ponieważ dostępne są jedynie etykiety na poziomie całych nagrań wideo. Większość istniejących metod najpierw generuje pseudo-etykiety dla poszczególnych modalności (audio i wideo), a następnie wykorzystuje je do uczenia modeli rozpoznających lokalne zdarzenia audio lub wizualne. 

Tego typu podejście prowadzi jednak do dwóch poważnych problemów: (1) generowane pseudo-etykiety dla każdej modalności nie są w pełni wiarygodne, co może wprowadzać model AI w błąd, jeśli używa się ich jako bezpośredniego sygnału nadzorującego przy rozróżnianiu modalności; (2) brak dokładnych adnotacji czasowych zwiększa niejednoznaczność w lokalizacji zdarzeń wideo, przez co modele stają się bardziej podatne na szum w danych. Aby rozwiązać te problemy, autorzy proponują nowe podejście do  AVVP o nazwie NREP (Noise-Resistant Event Parsing), który wykorzystuje uczenie głębokie oparte na dowodach (evidential deep learning), ograniczając wpływ szumu w pseudo-nadzorze. 

W szczególności framework NREP składa się z trzech głównych komponentów: (1) modalitywise evidential learning (MEL), które modeluje zależności pomiędzy modalnością (audio/wideo) a klasą zdarzenia; (2) temporalwise evidential learning (TEL), które identyfikuje istotne zdarzenia pierwszoplanowe w czasie; (3) foreground–background consistency learning (FBCL), które wymusza spójność pomiędzy dwiema powyższymi gałęziami uczenia opartymi na dowodach. Dzięki analizie zawartości wideo oraz uczeniu się „dowodów” dla zależności modalnych metoda skutecznie redukuje wpływ szumu w generowanych pseudo-etykietach, osiągając bardzo dobre wyniki niezależnie od przyjętej strategii ich generowania. NREP został oceniony na dwóch benchmarkowych zbiorach danych AVVP, gdzie konsekwentnie uzyskuje wyniki na poziomie aktualnego stanu sztuki lub go przewyższa. 

Artykuł:

IEEE Transactions on Neural Networks and Learning Systems

Rok wydania:

Autorzy z PW:

Andrzej Cichocki