Detection of Out-of-Distribution Samples Using Binary Neuron Activation Patterns
Głębokie sieci neuronowe (ang. Deep Neraul Networks, DNN) osiągają znakomite wyniki w różnych zastosowaniach. Pomimo licznych wysiłków środowiska badawczego, próbki spoza dystrybucji (ang. Out-of-Distribution OoD) pozostają istotnym ograniczeniem klasyfikatorów wykorzystujących DNN. Zdolność do identyfikowania nieznanych próbek jako nowych jest kluczowa w aplikacjach krytycznych dla bezpieczeństwa, takich jak samochody autonomiczne, bezzałogowe pojazdy powietrzne i roboty. Istniejące podejścia do wykrywania próbek spoza dystrybucji traktują DNN jako czarną skrzynkę i oceniają wyłącznie wynikową pewność predykcji modelu. Niestety, ta metoda często zawodzi, ponieważ DNN nie są trenowane, aby zmniejszać swoją pewność dla próbek spoza dystrybucji. W tej pracy przedstawiono nową metodę wykrywania próbek spoza dystrybucji. Nasza metoda jest motywowana analizą teoretyczną binarnych wzorców aktywacji neuronów (ang. Neuron Activation Patterns, NAP) w architekturach wykorzystujących funkcję aktywacji ReLU. Zaproponowana metoda nie wprowadza wysokiego obciążenia obliczeniowego ze względu na binarną reprezentację wzorców aktywacji wyodrębnionych z warstw konwolucyjnych sieci neuronowej. Przeprowadzone badania eksperymentalne pokazały jej wysoką skuteczność na różnych architekturach sieci neuronowych oraz siedmiu zbiorach testowych.
Materiał konferencyjny:
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, Institute of Electrical and Electronics Engineers
Autorzy z PW:
Krystian Radlak
Dyscyplina:
Rok wydania: