Technologie interfejsów mózg–komputer (BCI, brain–computer interface) umożliwiają sterowanie urządzeniami zewnętrznymi poprzez rozpoznawanie intencji użytkownika na podstawie aktywności mózgu i sygnałów EEG. Interfejsy BCI oparte na stacjonarnych wzrokowych potencjałach wywołanych (SSVEP, steady-state visual evoked potentials) są szeroko stosowane do sterowania urządzeniami Internetu Rzeczy (IoT, Internet of Things), znajdując zastosowanie m.in. w inteligentnej opiece zdrowotnej, inteligentnych domach oraz robotyce, gdzie już osiągnięto znaczące rezultaty. Mimo to dziedzina sterowania urządzeniami IoT z wykorzystaniem BCI wciąż znajduje się na etapie intensywnego rozwoju, dlatego pozostaje istotna przestrzeń do poprawy w zakresie dokładności, efektywności oraz kosztów całego systemu.
Kluczowym wyzwaniem dla badań teoretycznych i zastosowań inżynierskich BCI w środowisku IoT jest zwiększenie dokładności klasyfikacji sygnałów SSVEP przy użyciu krótkich okien czasowych, przy jednoczesnej redukcji kosztów ludzkich i sprzętowych oraz poprawie ogólnej efektywności działania systemu. W odpowiedzi na to wyzwanie zaproponowano nowe podejście do dokładnej ekstrakcji i slekcji cech w krótkich przedziałach czasowych.
Proponowana metoda integruje wieloskalową konwolucyjną sieć neuronową (CNN, convolutional neural network) z mechanizmem Ściskania i Wzbudzania (SE, squeeze-and-excitation), tworząc model SEMSCNN (Squeeze-and-Excitation-Based Multiscale CNN). Takie połączenie pozwala wykorzystać zdolność sieci konwolucyjnych do lokalnego uczenia reprezentacji cech oraz mechanizm SE, który nadaje różnym cechom zróżnicowaną wagę, odzwierciedlając ich istotność w zadaniach klasyfikacji.
W pierwszym etapie sygnały elektroencefalograficzne (EEG, electroencephalography) są filtrowane pasmowo do kilku zakresów częstotliwości, a następnie – z wykorzystaniem dwuwarstwowej konwolucji – ekstraktowane są cechy w dziedzinie częstotliwości i kanałów. W kolejnym kroku cechy czasowe wydobywane są za pomocą wielogałęziowej konwolucji o różnych skalach czasowych, co umożliwia uchwycenie zarówno lokalnych, jak i bardziej rozciągniętych w czasie wzorców aktywności. Na końcu zastosowano moduł SE, który uczy się zależności pomiędzy kanałami cech i wzmacnia najbardziej istotne składowe, poprawiając jakość ich końcowej reprezentacji.
Proces uczenia przebiega dwuetapowo: w pierwszym etapie wykorzystywane są statystyczne, wspólne cechy wszystkich uczestników eksperymentu do wytrenowania modelu globalnego, natomiast w drugim etapie model jest indywidualnie precyzyjnie dostrajany (fine-tuning) dla każdego uczestnika, aby uwzględnić jego specyficzne cechy sygnału EEG. Model SEMSCNN oceniono na dwóch publicznych zbiorach danych SSVEP, Benchmark i BETA, a jego działanie porównano z wybranymi metodami reprezentującymi aktualny stan sztuki.
Wyniki eksperymentalne pokazują, że zaproponowana metoda znacząco poprawia zarówno dokładność rozpoznawania celu, jak i szybkość transferu informacji (ITR, information transfer rate) przy krótkotrwałej stymulacji, przewyższając metody bazowe. Uzyskane rezultaty wskazują na duży potencjał praktycznych zastosowań proponowanego podejścia w systemach BCI zintegrowanych z ekosystemami IoT.