W dziedzinie uczenia ciągłego modele są projektowane tak, aby uczyły się kolejnych zadań jedno po drugim. Większość badań skupia się na nadzorowanym uczeniu ciągłym, jednak rośnie zainteresowanie podejściem nienadzorowanym, które wykorzystuje ogromne ilości nieoznaczonych danych.

Najnowsze badania podkreślają zalety metod nienadzorowanych, zwłaszcza uczenia samonadzorowanego, w tworzeniu solidnych reprezentacji. Lepsza możliwość przenoszenia tych reprezentacji jest często przypisywana roli, jaką odgrywa wielowarstwowy perceptron (MLP) jako projektor.

W naszej pracy wychodzimy od tej obserwacji i ponownie analizujemy rolę nadzoru w ciągłym uczeniu reprezentacji. Uważamy, że dodatkowe informacje, takie jak adnotacje stworzone przez ludzi, nie powinny pogarszać jakości reprezentacji. Nasze wyniki pokazują, że modele nadzorowane, wzbogacone o warstwę MLP, mogą przewyższać modele samonadzorowane w kontekście uczenia ciągłego. Podkreśla to kluczową rolę projektora MLP w kształtowaniu transferowalności cech między kolejnymi zadaniami w procesie uczenia ciągłego.

Kod źródłowy jest dostępny na GitHubie.