Popularny model CLIP wykazuje imponujące zdolności zero-shot dzięki płynnej interakcji z dowolnymi tekstowymi podpowiedziami. Jednak jego brak świadomości przestrzennej sprawia, że nie nadaje się on do gęstych zadań wizji komputerowej, takich jak semantyczna segmentacja, bez dodatkowego etapu dostrajania. Proces ten często wymaga adnotacji i może prowadzić do utraty pierwotnych właściwości modelu związanych z otwartym słownictwem.

Tymczasem metody samonadzorowanego uczenia reprezentacji wykazały dobre właściwości lokalizacyjne, osiągając je bez potrzeby stosowania ludzkich adnotacji czy jawnej superwizji. W naszej pracy łączymy zalety obu podejść i proponujemy metodę semantycznej segmentacji o otwartym słownictwie, która nie wymaga żadnych adnotacji.

Wprowadzamy lokalne ulepszenie gęstych cech MaskCLIP, które są obliczane poprzez prostą modyfikację ostatniej warstwy poolingowej CLIP. Integrujemy w nich priory lokalizacyjne wyodrębnione z cech samonadzorowanych, co znacząco poprawia wydajność MaskCLIP i pozwala uzyskać bardziej płynne wyniki. Ponadto pokazujemy, że wykorzystywane cechy samonadzorowane mogą być bezpośrednio wyuczone na podstawie cech CLIP.

Nasza metoda, CLIP-DINOiser, wymaga jedynie pojedynczego przejścia przez CLIP oraz dwóch lekkich warstw konwolucyjnych podczas wnioskowania. Nie wymaga dodatkowej superwizji ani pamięci, a mimo to osiąga najnowocześniejsze wyniki na wymagających, szczegółowych zestawach danych, takich jak COCO, Pascal Context, Cityscapes i ADE20k.

Kod pozwalający na odtworzenie naszych wyników jest dostępny pod adresem: https://github.com/wysoczanska/clip_dinoiser.

Ciągłe ukryte modele Markowa (HMM) zakładają, że obserwacje są generowane z mieszaniny rozkładów Gaussa, co ogranicza ich zdolność do modelowania bardziej złożonych rozkładów. W niniejszej pracy zajmujemy się tym ograniczeniem i proponujemy nowe ciągłe modele HMM, nazwane FlowHMM, które umożliwiają uczenie dowolnych ciągłych gęstości obserwacji bez narzucania im rozkładu Gaussa lub jego mieszanin. W tym celu wykorzystujemy głębokie architektury oparte na przepływach (flow-based), które modelują złożone, niegaussowskie funkcje, oraz proponujemy dwie warianty treningu modelu FlowHMM.

Pierwszy wariant, oparty na technice gradientowej, może być stosowany bezpośrednio do ciągłych wielowymiarowych danych, jednak jego zastosowanie do dłuższych sekwencji danych pozostaje obliczeniowo kosztowne. Dlatego przedstawiamy także drugie podejście do treningu FlowHMM, które opiera się na macierzy współwystąpień dyskretyzowanych obserwacji i rozważa wspólny rozkład par współobserwowanych wartości, dzięki czemu czas treningu jest niezależny od długości sekwencji treningowej.

W rezultacie otrzymujemy model, który można elastycznie dostosować do charakterystyki i wymiarowości danych. Przeprowadziliśmy szereg eksperymentów, w których porównujemy obie strategie treningowe z bazowym modelem mieszanin gaussowskich. Wykazujemy, że pod względem jakości odtworzonego rozkładu prawdopodobieństwa, dokładności przewidywania ukrytych stanów oraz prawdopodobieństwa danych nieobserwowanych, nasze podejście przewyższa standardowe metody gaussowskie.

W niniejszej pracy analizujemy niskokosztowe, dokładne przybliżenie funkcji przy użyciu wielomianów Czebyszewa pierwszego rodzaju, minimalizując liczbę elementarnych operacji w kodach komputerowych (w szczególności poprzez zastosowanie tzw. magicznych stałych). Wykazano, że iteracyjna metoda Newtona-Raphsona nie jest optymalna i zaproponowano nowe podejście. Dowodzimy, że optymalne wielomiany Czebyszewa mogą być rozkładane na czynniki w postaci wielomianów Czebyszewa niższego stopnia, co prowadzi do nowych – optymalnych – schematów iteracyjnych. Ponadto konstruujemy rodzinę nowych algorytmów poprzez podział rozważanego przedziału na podprzedziały, w których stosuje się różne magiczne stałe i czynniki multiplikatywne (w celu zwiększenia dokładności). Rozważania teoretyczne i dowody uzupełniono testami numerycznymi przeprowadzonymi na trzech typach procesorów mikrokontrolerowych.

Wyjaśnialna sztuczna inteligencja (XAI) to młoda, ale bardzo obiecująca dziedzina badań. Niestety, postęp w tej dziedzinie jest obecnie spowolniony przez rozbieżne i niekompatybilne cele. Rozdzielamy różne wątki splątane w obszarze XAI na dwie uzupełniające się kultury wyjaśnień zorientowanych na człowieka/wartości (BLUE XAI) i wyjaśnień zorientowanych na model/walidację (RED XAI). W niniejszym stanowisku argumentujemy, że obszar RED XAI jest obecnie niedostatecznie zbadany, tj. rozpaczliwie potrzeba więcej metod wyjaśniania, aby kwestionować modele (np. wydobywać wiedzę z dobrze działających modeli, a także wykrywać i naprawiać błędy w wadliwych modelach), a obszar RED XAI kryje w sobie ogromne możliwości i potencjał dla ważnych badań niezbędnych do zapewnienia bezpieczeństwa systemów sztucznej inteligencji. Kończymy ten artykuł, przedstawiając obiecujące wyzwania w tym obszarze. 

Pomimo rosnącego postępu w rozwoju metod generowania wizualnych kontrfaktycznych wyjaśnień, poprzednie prace traktują je jako technikę całkowicie lokalną. W tej pracy robimy pierwszy krok w kierunku ich globalizacji. W szczególności odkrywamy, że ukryta przestrzeń autoenkoderów dyfuzyjnych koduje proces wnioskowania danego klasyfikatora w postaci globalnych kierunków. Proponujemy nowatorskie podejście oparte na proxy, które odkrywa dwa rodzaje tych kierunków przy użyciu tylko jednego obrazu w całkowicie czarnej skrzynce. Dokładnie rzecz biorąc, kierunki g pozwalają na odwrócenie decyzji danego klasyfikatora na całym zbiorze danych obrazów, podczas gdy kierunki h dodatkowo zwiększają różnorodność wyjaśnień. Nazywamy je ogólnie Globalnymi Kierunkami Kontrfaktycznymi (GCD). Co więcej, pokazujemy, że GCD mogą być naturalnie łączone z ukrytymi zintegrowanymi gradientami, co skutkuje nową metodą atrybucji czarnej skrzynki, jednocześnie zwiększając zrozumienie kontrfaktycznych wyjaśnień. Weryfikujemy nasze podejście na istniejących benchmarkach i pokazujemy, że uogólnia się ono na rzeczywiste przypadki użycia.

Zwykle celem uczenia nadzorowanego jest znalezienie najlepszego modelu, takiego, który optymalizuje określoną miarę wydajności. Co jednak, jeśli wyjaśnienie dostarczone przez ten model jest zupełnie inne niż w przypadku innego modelu i ponownie inne niż w przypadku innego modelu, mimo że wszystkie mają podobnie dobre statystyki dopasowania? Czy to możliwe, że równie skuteczne modele kładą nacisk na różne relacje w danych? Zainspirowany kwartetem Anscombe′a, niniejszy artykuł przedstawia Kwartet Rashomona, czyli zestaw czterech modeli zbudowanych na syntetycznym zbiorze danych, które mają praktycznie identyczną skuteczność predykcyjną. Jednak wizualna eksploracja ujawnia różne wyjaśnienia relacji w danych. Ten ilustracyjny przykład ma na celu zachęcenie do korzystania z metod wizualizacji modeli w celu porównania modeli predykcyjnych poza ich wydajnością. 

Wyjaśnialne metody sztucznej inteligencji (XAI) są przedstawiane jako lekarstwo na debugowanie i zaufanie do modeli statystycznych i głębokiego uczenia się, a także interpretowanie ich prognoz. Jednak ostatnie postępy w dziedzinie przeciwstawnego uczenia maszynowego (AdvML) podkreślają ograniczenia i słabości najnowocześniejszych metod wyjaśniania, stawiając pod znakiem zapytania ich bezpieczeństwo i wiarygodność. Możliwość manipulowania, oszukiwania lub fairwashingu dowodów rozumowania modelu ma szkodliwe konsekwencje, gdy jest stosowana w podejmowaniu decyzji o wysokiej stawce i odkrywaniu wiedzy. Niniejszy przegląd zawiera kompleksowy przegląd badań dotyczących ataków kontradyktoryjnych na wyjaśnienia modeli uczenia maszynowego, a także metryk uczciwości. Wprowadzamy ujednoliconą notację i taksonomię metod, ułatwiając wspólną płaszczyznę dla badaczy i praktyków z przecinających się dziedzin badań AdvML i XAI. Omawiamy, jak bronić się przed atakami i projektować solidne metody interpretacji. Przedstawiamy listę istniejących niepewności w XAI i nakreślamy nowe kierunki badań w przeciwstawnych XAI (AdvXAI). Przyszłe prace powinny dotyczyć poprawy metod wyjaśniania i protokołów oceny w celu uwzględnienia zgłoszonych kwestii bezpieczeństwa. 

W omawianej pracy zaprezentowano badania właściwości optycznych sześciu związków chemicznych typu donor – akceptor – donor. Związki te zawierały jednostki centralne o różnej sile akceptorowej, takie jak tiadiazol, benzotiadiazol, tetrazynę, diketopirolopirol oraz naftalenodiimid. Rolę donora w otrzymanych związkach pełnił ditienopirol. Przedstawiono wyniki pomiarów absorpcji jednofotonowej, klasycznej absorpcji dwufotonowej (ang. two-photon absorption – TPA) oraz dwufotonowej absorpcji splątanych fotonów (ang. entangled two-photon absorption – ETPA). Dane eksperymentalne porównano z wynikami obliczeń otrzymanych metodą TD-DFT (ang. time-dependent density-functional theory), w których uwzględniono zaproponowany teoretyczny model dwufotonowej absorpcji fotonów splątanych. Rezultaty badań przeprowadzonych dla serii związków o systematycznie zmienianych właściwościach elektronowych mają istotne znaczenie przy projektowaniu organicznych chromoforów do zastosowań w urządzeniach optoelektronicznych, wykorzystujących zjawisko kwantowego splątania fotonów.

Mikromacierze białkowe SPRi to nowoczesne narzędzia do szybkiej i bezznacznikowej immunodetekcji, które umożliwiają wysokoprzepustową biodetekcję oraz analizę interakcji molekularnych. Jednak ich rutynowe zastosowanie w analizie ilościowej wymaga odpowiedniej powtarzalności i jednorodności warstw receptorowych wytwarzanych ex-situ za pomocą technik mikronanoszenia. Istotnym wyzwaniem jest  również opracowanie wszechstronnych i nieniszczących metod określania gęstości powierzchniowej białek, aby lepiej kontrolować proces ich immobilizacji.

W niniejszej pracy przedstawiamy prostą, jednoetapową metodę wizualizacji białek powierzchniowych poprzez ich odwracalne, niespecyficzne znakowanie anionowymi barwnikami: Ponceau S, czernią amidową 10B lub błękitem brylantowym Coomassie. Wykorzystując przeciwciało IgG królika oraz transferynę jako modelowe receptory, wykazaliśmy możliwość określenia gęstości powierzchniowej białek w szerokim zakresie – do ok. 3 ng∙mm⁻² (dla dwuwymiarowej monowarstwy typu SAM) oraz do co najmniej 12,5 ng∙mm⁻² (dla trójwymiarowej monowarstwy na szkielecie hydrożelowym).

 Zakresy dynamicznej odpowiedzi opracowanych metod obejmują typowe gęstości powierzchniowe receptorów stosowane w konstrukcji biosensorów SPR oraz badaniach kinetyki oddziaływań białek. Badania wykazały, że każdy z analizowanych barwników ma swoje unikalne zalety w zależności od zastosowania. Błękit Coomassie wyróżnia się najwyższą czułością w odpowiedzi SPRi, czerń amidowa pozwala na efektywne znakowanie w najłagodniejszych warunkach, a Ponceau S charakteryzuje się najszybszą asocjacją i odmywaniem, nawet z warstw o wysokiej gęstości powierzchniowej białek.

Potwierdzono również skuteczność opracowanej metody w kontroli jakości mikromacierzy SPRi. W naszej pracy opisano także liczne zalety nowej, opartej na barwnikach metody niespecyficznego znakowania w porównaniu z typowo wykorzystywanym do tego celu immunoznakowaniem, szczególnie pod względem prostoty realizacji i uniwersalności.

W ostatnich latach rośnie zainteresowanie rozwijaniem odpornych modeli uczenia maszynowego, które mogą skutecznie przeciwstawiać się atakom adwersarialnym. Dotyczy to również drzew decyzyjnych – jednego z najczęściej stosowanych, efektywnych i interpretowalnych algorytmów uczenia maszynowego. Praca przedstawia nowatorski algorytm koewolucyjny (CoEvoRDT), zaprojektowany w celu tworzenia odpornych drzew decyzyjnych, które mogą skutecznie przetwarzać zaszumione dane o wysokiej wymiarowości w kontekście ataków adwersarialnych.

W metodzie CoEvoRDT wykorzystano adaptacyjną koewolucję, aby umożliwić ewolucję drzew decyzyjnych w interakcji z zaburzonymi danymi wejściowymi. CoEvoRDT naprzemiennie rozwija konkurujące populacje drzew decyzyjnych oraz zaburzonych cech, co pozwala na konstruowanie drzew decyzyjnych o pożądanych właściwościach. Algorytm można łatwo dostosować do różnych metryk optymalizacyjnych, umożliwiając zastosowanie różnych kryteriów odporności, np. minimax regret.

Dodatkowo, CoEvoRDT posiada potencjał do poprawy wyników innych konkurencyjnych metod poprzez włączenie wygenerowanych przez nich drzew decyzyjnych do swojej początkowej populacji i ich dalszą optymalizację w procesie koewolucji. W zaproponowanej metodzie, do poprawy zbieżności przeszukiwania wykorzystano ideę mieszanej równowagi Nasha, pochodzącą z teorii gier.

Metoda CoEvoRDT została przetestowana na 20 popularnych zbiorach danych i osiągnęła najlepsze wyniki w porównaniu z 4 innymi zaawansowanymi algorytmami. Pokonała wszystkie konkurencyjne metody na 13 zbiorach danych pod względem metryki adeversarial accuracy oraz na wszystkich 20 zbiorach danych według metryki minimax regret. Bardzo dobre wyniki eksperymentalne oraz elastyczność w doborze metryki skuteczności czynią CoEvoRDT obiecującym podejściem do konstruowania odpornych drzew decyzyjnych w rzeczywistych zastosowaniach.

Abstrakcyjne wnioskowanie wizualne (AVR – Abstract Visual Reasoning) obejmuje szeroki zakres problemów, podobnych do tych stosowanych w testach IQ. W ostatnich latach nastąpił dynamiczny rozwój metod rozwiązywania poszczególnych rodzajów zadań AVR, jednak we współczesnej literaturze różne typy problemów AVR rozważane są odrębnie, co prowadzi do opracowywania bardzo wyspecjalizowanych metod ukierunkowanych na rozwiązywanie zadań konkretnego typu.

W celu zbudowania uniwersalnych systemów uczących się w dziedzinie AVR proponujemy ujednolicony model do rozwiązywania zadań pojedynczego wyboru (SCAR). Model ten potrafi rozwiązywać różnorodne zadania AVR bez przyjętych z góry założeń dotyczących ich struktury, w szczególności liczby i rozmieszczenia paneli. Proponowany model opiera się na nowatorskiej warstwie dynamicznej (SAL – Structure-Aware Layer), która dostosowuje swoje wagi do struktury rozważanego problemu.

Eksperymenty przeprowadzone na Progresywnych Matrycach Ravena, problemach analogii wizualnej oraz zadaniach wyboru niepasującego obrazu wykazały, że SCAR (oraz ogólniej, modele oparte na SAL) skutecznie rozwiązują różnorodne zadania AVR, osiągając wyniki porównywalne z najlepszymi metodami specjalistycznymi. Co więcej, SCAR wykazuje istotne zdolności w uczeniu wielozadaniowym i transferze wiedzy.

Według naszej wiedzy, jest to pierwsza udana próba zbudowania uniwersalnego modelu do rozwiązywania zadań AVR opartego na jednolitej architekturze. Niniejsza praca ma na celu stymulowanie dalszego rozwoju badań poświęconych systemom uniwersalnym w obszarze AVR.

Prognozy cen energii elektrycznej są kluczowe dla podejmowania świadomych decyzji biznesowych na rynkach energii. Prognozy probabilistyczne, które zamiast jednej wartości przewidują cały zakres możliwych przyszłych cen, są szczególnie cenne, ponieważ pozwalają uwzględnić niepewności rynkowe.

Metoda Quantile Regression Averaging (QRA) jest jedną z wiodących technik generowania prognoz probabilistycznych. W niniejszej pracy przedstawiamy ReModels – kompleksowy pakiet w języku Python, który implementuje metodę QRA oraz jej różnorodne modyfikacje zaproponowane w najnowszej literaturze. Pakiet nie tylko udostępnia narzędzia do stosowania QRA, ale również oferuje funkcje związane z pozyskiwaniem i przygotowaniem danych oraz transformacjami stabilizującymi wariancję (VST – Variance Stabilizing Transformations).

Zgodnie z naszą wiedzą, obecnie nie istnieje publicznie dostępna implementacja metody QRA oraz jej wariantów. Nasz pakiet ma na celu wypełnienie tej luki, dostarczając zarówno badaczom jak i praktykom narzędzia do generowania dokładnych i wiarygodnych prognoz probabilistycznych w obszarze prognozowania cen energii elektrycznej.