Adapt Your Teacher: Improving Knowledge Distillation for Exemplar-free Continual Learning
W naszej pracy badamy naukę przykładową bez wzorców (CIL) z uczeniem ze zrozumienia (KD) jako strategię regularyzacji, mającą na celu zapobieżenie zapominaniu. Metody oparte na KD są skutecznie stosowane w CIL, ale często mają trudności z regularyzacją modelu bez dostępu do wzorców danych treningowych z poprzednich zadań. Nasza analiza wykazuje, że ten problem wynika z istotnych zmian reprezentacji w sieci nauczycielskiej podczas pracy z danymi spoza dystrybucji. Powoduje to duże błędy w składniku straty KD, prowadząc do pogorszenia wyników w CIL. Zainspirowani niedawnymi metodami adaptacji w czasie testowania, wprowadzamy Adaptację Nauczyciela (TA), metodę, która jednocześnie aktualizuje nauczyciela i główny model podczas treningu przyrostowego. Nasza metoda bezproblemowo integruje się z podejściami CIL opartymi na KD i pozwala na spójne poprawianie ich wyników na wielu testach CIL bez wzorców.
Materiał konferencyjny:
Proceeedins of the IEEE/CVF International Conference on Computer Vision Workshops (ICCVW 2023), 2023, Institute of Electrical and Electronics Engineers
Autorzy z PW:
Tomasz Trzciński
Dyscyplina:
Rok wydania: