Category Adaptation Meets Projected Distillation in Generalized Continual Category Discovery
Uogólnione ciągłe odkrywanie kategorii (GCCD, Generalized Continual Category Discovery) dotyczy procesu uczenia się z kolejno napływających, częściowo oznakowanych zbiorów danych, przy jednoczesnym odkrywaniu nowych kategorii. Tradycyjne metody opierają się na destylacji cech (feature distillation), aby zapobiec zapominaniu wcześniej nabytej wiedzy. Jednak taka strategia ogranicza zdolność modelu do adaptacji i skutecznego rozróżniania nowych kategorii. Aby temu zaradzić, autorzy wprowadzają nowatorską technikę, która łączy uczący się projektor (learnable projector) z procesem destylacji cech, co zwiększa zdolność adaptacji modelu, nie powodując utraty wcześniej przyswojonej wiedzy. Powstałe w ten sposób przesunięcie rozkładu danych dla wcześniej poznanych kategorii jest kompensowane przez pomocniczą sieć adaptacji kategorii (auxiliary category adaptation network). Wyniki pokazują, że chociaż każdy z elementów przynosi niewielkie korzyści samodzielnie, ich połączenie – nazwane CAMP (Category Adaptation Meets Projected distillation) – znacząco poprawia równowagę między uczeniem się nowych informacji a zachowaniem starych. CAMP wykazuje lepszą wydajność w porównaniu z innymi metodami w różnych scenariuszach GCCD i inkrementalnego uczenia się klas (Class Incremental Learning). Kod źródłowy metody jest dostępny w serwisie GitHub.
Książka:
Computer Vision – ECCV 2024, Proceedings, Lecture Notes In Computer Science, vol. XI
Autorzy z PW:
Grzegorz Rypeść, Daniel Marczak, Tomasz Trzciński
Dyscyplina:
Rok wydania: