W pracy analizowana jest możliwość wykorzystania sieci impulsowych w obszarze przetwarzania języka naturalnego, a dokładniej z zagadnieniu modelowania tematów (ang. topic modeling). Zaproponowana przez autorów sieć impulsowa STM osiągnęła bardzo dobre wyniki na trzech standardowych zbiorach testowych: 20Newsgroups, BBC news oraz AG news, porównywalne z najlepszymi wynikami metod kontrastowych, stanowiących standardowe podejście do tego zagadnienia. 

W pracy zaproponowano nową metodę konstrukcji klasyfikatorów dla danych PU opartą na dopasowaniu modelu podwójnie logistycznego i minimalizacji ryzyka empirycznego (ERM). Metoda dopuszcza zmienną funkcję skłonności do etykietowania. W pracy pokazano, że przy pewnych założeniach ryzyko otrzymanego estymatora, będącego argumentem minimalizującym ERM zbiega do ryzyka bayesowskiego. W pracy zaproponowano również nową metodę detekcji nieetykietowanych obserwacji z klasy pozytywnej i zbadano numerycznie zachowanie się wynikowych klasyfikatorów. 

Medycyna spersonalizowana to nowoczesna koncepcja we współczesnej onkologii. W celu ułatwienia zastosowania pęcherzyków zewnątrzkomórkowych (EVs) pochodzących z komórek raka płuc jako zaawansowanych produktów leczniczych w terapii raka płuc, w pracy sfunkcjonalizowano EVs za pomocą specyficznego liganda ukierunkowanego na określone cele molekularne. Do tego celu wykorzystano heptapeptyd PTHTRWA wiążący się z komórkami raka płuc. Proces funkcjonalizacji powierzchni EVs przeprowadzono poprzez C- lub N-terminalny koniec heptapeptydu. Aby potwierdzić aktywność EVs funkcjonalizowanych PTHTRWA, przeprowadzono eksperymenty z wykorzystaniem modelu błony lipidowej naśladującego błony komórek zdrowych i nowotworowych, a także ludzkich komórek nabłonka pęcherzyków płucnych (A549) oraz normalnych ludzkich komórek nabłonka oskrzelowego (BEAS-2B), które zostały poddane działaniu otrzymanych biokonstruktów. Obrazowanie metodą rezonansu magnetycznego (MRI) wykazało, że otrzymane biokonstrukty PTHTRWA-EVs zawierające paramagnetyczne nanocząstki tlenku żelaza (SPIONs) docierają do guza nowotworowego po dożylnym podaniu myszom NUDE Balb/c z wszczepionym rakiem A549. Badania in silico z użyciem dynamiki molekularnej (MD) wykazały wysokie powinowactwo syntetyzowanego peptydu do integryny α5β1. Przeprowadzone testy bezpieczeństwa przedklinicznego nie wykazały żadnych efektów cytotoksycznych ani genotoksycznych funkcjonalizowanych PTHTRWA-EVs.

Nieliniowe i bistabilne systemy optyczne mają kluczowe znaczenie dla rozwoju nowej generacji sieci optycznych oraz neuronowych systemów fotonicznych znajdujących liczne zastosowania w logice optycznej i przetwarzaniu informacji. W niniejszej pracy proponujemy nowatorskie, bistabilne urządzenie falowodowe zintegrowane na chipie i działające wyłącznie w oparciu o efekty optyczne (bez użycia elektrycznych źródeł energii), które nie wymaga użycia dodatkowych struktur rezonansowych. Jest ono oparte na tlenku indowo-cynowym (ITO) jako nieliniowym materiale należącym do grupy tzw. epsilon-near-zero (ENZ) materials, co zapewnia wysoce opłacalną i bardzo wydajną platformę fotoniczną o charakterystyce binarnej. 

Najważniejsze zalety proponowanego urządzenia to kompatybilność z fotoniką oraz elektroniką opartą na krzemie oraz możliwość działania z prędkościami subpikosekundowymi przy umiarkowanej mocy przełączania. Urządzenie może pełnić rolę optycznego odpowiednika memrystora lub tyrystora, a także stać się kluczowym elementem fotonicznych sieci neuronowych, eliminującym konieczność konwersji optyczno-elektryczno-optycznej (OEO).

W niniejszej pracy zastosowano techniki testowania w małej skali – nanoindentację oraz ściskanie mikrowież – w celu zbadania mechanizmów odkształcenia, efektów skali oraz wrażliwości na prędkość odkształcenia monokryształu Gum Metal o orientacjach (100) i (110) w skali mikro/nano. Zaobserwowano, że orientacja (100) wykazuje znaczący efekt skali, co skutkuje wartościami twardości w zakresie od 1 do 5 GPa. Natomiast w przypadku orientacji (110) efekt ten był słabszy.

Ponadto, wytrzymałość plastyczna uzyskana w testach ściskania mikrowież wynosiła około 740 MPa dla orientacji (100) oraz 650 MPa dla orientacji (110). Obserwowane odkształcenia były zgodne z ustalonymi cechami zachowania stopów o sieci regularnej przestrzennie centrowanej (RPC): wykazano znaczną wrażliwość na prędkość odkształcenia bez zależności od głębokości, wzory nagromadzenia materiału (pile-up patterns) porównywalne z danymi literaturowymi oraz ścinanie wzdłuż kierunków poślizgu {112}<111>.

Jednak badany materiał wykazywał również cechy charakterystyczne dla Gum Metal, takie jak wysoka plastyczność, stosunkowo niski moduł sprężystości oraz wysoką wytrzymałość plastyczną, co odróżnia go od klasycznych stopów o strukturze RPC.

Adaptacja w czasie testowania to obiecujący kierunek badań, który pozwala modelowi samodzielnie dostosowywać się do zmian w danych bez potrzeby dodatkowego nadzoru. Jednak obecne metody są zazwyczaj testowane na uproszczonych zestawach danych, które nie w pełni odzwierciedlają rzeczywiste warunki.

Dlatego proponujemy ocenę metod adaptacji w czasie testowania na niedawno wprowadzonych zestawach danych dla autonomicznej jazdy, CLAD-C i SHIFT. Nasze obserwacje pokazują, że istniejące podejścia mają trudności z radzeniem sobie z różnym stopniem zmiany domeny, co często prowadzi do pogorszenia wyników – nawet poniżej poziomu modelu bazowego.

Zidentyfikowaliśmy, że główny problem wynika z braku zdolności do jednoczesnego zachowania wiedzy modelu źródłowego oraz dostosowania się do dynamicznie zmieniających się, czasowo skorelowanych strumieni danych. Aby temu zaradzić, ulepszamy dobrze znane podejście samotrenowania, wprowadzając niewielki bufor pamięci, który zwiększa stabilność modelu, a także dynamiczne dostosowywanie się do zmian domeny w zależności od ich intensywności.

Proponowana metoda, AR-TTA, przewyższa dotychczasowe podejścia zarówno na syntetycznych, jak i bardziej realistycznych benchmarkach, wykazując odporność w różnych scenariuszach adaptacji w czasie testowania.

W tej pracy przedstawiamy podejście do uczenia ciągłego o nazwie MagMax, które wykorzystuje łączenie modeli, aby umożliwić dużym, wstępnie wytrenowanym modelom naukę z nowych danych bez utraty wcześniej zdobytej wiedzy.

W przeciwieństwie do tradycyjnych metod uczenia ciągłego, które skupiają się na minimalizowaniu zapominania podczas treningu, MagMax łączy sekwencyjne dostrajanie modelu z selekcją wag o największej wartości, co pozwala skutecznie integrować wiedzę z różnych zadań.

Naszym pierwszym wkładem jest szczegółowa analiza technik łączenia modeli, która pokazuje, że proste podejścia, takie jak uśrednianie wag czy ich losowy wybór, mogą zaskakująco dobrze sprawdzać się w różnych scenariuszach uczenia ciągłego. Co jednak ważniejsze, przedstawiamy MagMax – nowatorską strategię łączenia modeli, która umożliwia dużym, wstępnie wytrenowanym modelom kontynuowanie nauki kolejnych zadań.

Nasze obszerne testy pokazują, że MagMax osiąga najlepsze wyniki w różnych ustawieniach, w tym w uczeniu ciągłym klas i domen.

Kod źródłowy jest dostępny na GitHubie.

W dziedzinie uczenia ciągłego modele są projektowane tak, aby uczyły się kolejnych zadań jedno po drugim. Większość badań skupia się na nadzorowanym uczeniu ciągłym, jednak rośnie zainteresowanie podejściem nienadzorowanym, które wykorzystuje ogromne ilości nieoznaczonych danych.

Najnowsze badania podkreślają zalety metod nienadzorowanych, zwłaszcza uczenia samonadzorowanego, w tworzeniu solidnych reprezentacji. Lepsza możliwość przenoszenia tych reprezentacji jest często przypisywana roli, jaką odgrywa wielowarstwowy perceptron (MLP) jako projektor.

W naszej pracy wychodzimy od tej obserwacji i ponownie analizujemy rolę nadzoru w ciągłym uczeniu reprezentacji. Uważamy, że dodatkowe informacje, takie jak adnotacje stworzone przez ludzi, nie powinny pogarszać jakości reprezentacji. Nasze wyniki pokazują, że modele nadzorowane, wzbogacone o warstwę MLP, mogą przewyższać modele samonadzorowane w kontekście uczenia ciągłego. Podkreśla to kluczową rolę projektora MLP w kształtowaniu transferowalności cech między kolejnymi zadaniami w procesie uczenia ciągłego.

Kod źródłowy jest dostępny na GitHubie.

Popularny model CLIP wykazuje imponujące zdolności zero-shot dzięki płynnej interakcji z dowolnymi tekstowymi podpowiedziami. Jednak jego brak świadomości przestrzennej sprawia, że nie nadaje się on do gęstych zadań wizji komputerowej, takich jak semantyczna segmentacja, bez dodatkowego etapu dostrajania. Proces ten często wymaga adnotacji i może prowadzić do utraty pierwotnych właściwości modelu związanych z otwartym słownictwem.

Tymczasem metody samonadzorowanego uczenia reprezentacji wykazały dobre właściwości lokalizacyjne, osiągając je bez potrzeby stosowania ludzkich adnotacji czy jawnej superwizji. W naszej pracy łączymy zalety obu podejść i proponujemy metodę semantycznej segmentacji o otwartym słownictwie, która nie wymaga żadnych adnotacji.

Wprowadzamy lokalne ulepszenie gęstych cech MaskCLIP, które są obliczane poprzez prostą modyfikację ostatniej warstwy poolingowej CLIP. Integrujemy w nich priory lokalizacyjne wyodrębnione z cech samonadzorowanych, co znacząco poprawia wydajność MaskCLIP i pozwala uzyskać bardziej płynne wyniki. Ponadto pokazujemy, że wykorzystywane cechy samonadzorowane mogą być bezpośrednio wyuczone na podstawie cech CLIP.

Nasza metoda, CLIP-DINOiser, wymaga jedynie pojedynczego przejścia przez CLIP oraz dwóch lekkich warstw konwolucyjnych podczas wnioskowania. Nie wymaga dodatkowej superwizji ani pamięci, a mimo to osiąga najnowocześniejsze wyniki na wymagających, szczegółowych zestawach danych, takich jak COCO, Pascal Context, Cityscapes i ADE20k.

Kod pozwalający na odtworzenie naszych wyników jest dostępny pod adresem: https://github.com/wysoczanska/clip_dinoiser.

Ciągłe ukryte modele Markowa (HMM) zakładają, że obserwacje są generowane z mieszaniny rozkładów Gaussa, co ogranicza ich zdolność do modelowania bardziej złożonych rozkładów. W niniejszej pracy zajmujemy się tym ograniczeniem i proponujemy nowe ciągłe modele HMM, nazwane FlowHMM, które umożliwiają uczenie dowolnych ciągłych gęstości obserwacji bez narzucania im rozkładu Gaussa lub jego mieszanin. W tym celu wykorzystujemy głębokie architektury oparte na przepływach (flow-based), które modelują złożone, niegaussowskie funkcje, oraz proponujemy dwie warianty treningu modelu FlowHMM.

Pierwszy wariant, oparty na technice gradientowej, może być stosowany bezpośrednio do ciągłych wielowymiarowych danych, jednak jego zastosowanie do dłuższych sekwencji danych pozostaje obliczeniowo kosztowne. Dlatego przedstawiamy także drugie podejście do treningu FlowHMM, które opiera się na macierzy współwystąpień dyskretyzowanych obserwacji i rozważa wspólny rozkład par współobserwowanych wartości, dzięki czemu czas treningu jest niezależny od długości sekwencji treningowej.

W rezultacie otrzymujemy model, który można elastycznie dostosować do charakterystyki i wymiarowości danych. Przeprowadziliśmy szereg eksperymentów, w których porównujemy obie strategie treningowe z bazowym modelem mieszanin gaussowskich. Wykazujemy, że pod względem jakości odtworzonego rozkładu prawdopodobieństwa, dokładności przewidywania ukrytych stanów oraz prawdopodobieństwa danych nieobserwowanych, nasze podejście przewyższa standardowe metody gaussowskie.

W niniejszej pracy analizujemy niskokosztowe, dokładne przybliżenie funkcji przy użyciu wielomianów Czebyszewa pierwszego rodzaju, minimalizując liczbę elementarnych operacji w kodach komputerowych (w szczególności poprzez zastosowanie tzw. magicznych stałych). Wykazano, że iteracyjna metoda Newtona-Raphsona nie jest optymalna i zaproponowano nowe podejście. Dowodzimy, że optymalne wielomiany Czebyszewa mogą być rozkładane na czynniki w postaci wielomianów Czebyszewa niższego stopnia, co prowadzi do nowych – optymalnych – schematów iteracyjnych. Ponadto konstruujemy rodzinę nowych algorytmów poprzez podział rozważanego przedziału na podprzedziały, w których stosuje się różne magiczne stałe i czynniki multiplikatywne (w celu zwiększenia dokładności). Rozważania teoretyczne i dowody uzupełniono testami numerycznymi przeprowadzonymi na trzech typach procesorów mikrokontrolerowych.

Wyjaśnialna sztuczna inteligencja (XAI) to młoda, ale bardzo obiecująca dziedzina badań. Niestety, postęp w tej dziedzinie jest obecnie spowolniony przez rozbieżne i niekompatybilne cele. Rozdzielamy różne wątki splątane w obszarze XAI na dwie uzupełniające się kultury wyjaśnień zorientowanych na człowieka/wartości (BLUE XAI) i wyjaśnień zorientowanych na model/walidację (RED XAI). W niniejszym stanowisku argumentujemy, że obszar RED XAI jest obecnie niedostatecznie zbadany, tj. rozpaczliwie potrzeba więcej metod wyjaśniania, aby kwestionować modele (np. wydobywać wiedzę z dobrze działających modeli, a także wykrywać i naprawiać błędy w wadliwych modelach), a obszar RED XAI kryje w sobie ogromne możliwości i potencjał dla ważnych badań niezbędnych do zapewnienia bezpieczeństwa systemów sztucznej inteligencji. Kończymy ten artykuł, przedstawiając obiecujące wyzwania w tym obszarze.