Przejdź do treści

Rethinking Visual Counterfactual Explanations Through Region Constraint

Wizualne wyjaśnienia kontrfaktyczne (VCE) zyskały ostatnio ogromną popularność jako narzędzie do wyjaśniania procesu podejmowania decyzji przez klasyfikatory obrazów. Trend ten jest w dużej mierze motywowany tym, co te wyjaśnienia obiecują dostarczyć - wskazać semantycznie znaczące czynniki, które zmieniają decyzję klasyfikatora. Twierdzimy jednak, że obecne najnowocześniejsze podejścia nie zawierają kluczowego komponentu - ograniczenia regionu - którego brak uniemożliwia wyciągnięcie jednoznacznych wniosków, a nawet może prowadzić do błędnego rozumowania z powodu zjawisk takich jak błąd potwierdzenia. Aby rozwiązać problem poprzednich metod, które modyfikują obrazy w bardzo splątany i szeroko rozproszony sposób, proponujemy VCE z ograniczeniami regionalnymi (RVCE), które zakładają, że tylko wstępnie zdefiniowany region obrazu może zostać zmodyfikowany w celu wpłynięcia na przewidywania modelu. Aby efektywnie próbkować z tej podklasy VCE, proponujemy Region-Constrained Counterfactual Schrödinger Bridge (RCSB), adaptację wykonalnej podklasy mostów Schrödingera do problemu warunkowego inpaintingu, gdzie sygnał warunkujący pochodzi z interesującego klasyfikatora. Oprócz ustanowienia nowego state-of-the-art z dużym marginesem, rozszerzamy RCSB, aby umożliwić dokładne rozumowanie kontrfaktyczne, w którym predefiniowany region zawiera tylko interesujący czynnik, i włączając użytkownika do aktywnej interakcji z RVCE poprzez ręczne predefiniowanie regionów.

Materiał konferencyjny:

International Conference on Representation Learning 2025 (ICLR 2025)

Autorzy z PW:

Przemysław Biecek

Rok wydania: