Zero time waste in pre-trained early exit neural networks
Problem redukcji czasu przetwarzania dużych modeli uczenia głębokiego stanowi fundamentalne wyzwanie w wielu aplikacjach praktycznych. Metody wczesnego wyjścia dążą do tego celu, dodając dodatkowe Klasyfikatory Wewnętrzne (ICs) do warstw pośrednich sieci neuronowej. ICs mogą szybko zwracać prognozy dla prostych przykładów i w rezultacie zmniejszać średni czas wnioskowania całego modelu. Jednakże, jeśli konkretny IC nie zdecyduje się na wcześniejsze zwrócenie odpowiedzi, jego prognozy są odrzucane, a jego obliczenia są efektywnie marnowane. Aby rozwiązać ten problem, wprowadzamy Zero Time Waste (ZTW), nowatorskie podejście, w którym każdy IC ponownie wykorzystuje prognozy zwrócone przez swoich poprzedników poprzez (1) dodanie bezpośrednich połączeń między ICs oraz (2) łączenie poprzednich wyników w sposób zespołowy. Przeprowadzamy obszerne eksperymenty obejmujące różne tryby, zbiory danych i architektury, aby wykazać, że ZTW osiąga znacznie lepszy kompromis między dokładnością, a czasem wnioskowania w porównaniu z innymi metodami wczesnego wyjścia. Na zbiorze danych ImageNet uzyskuje ono lepsze wyniki niż najlepsza metoda bazowa w 11 na 16 przypadków, osiągając nawet do 5 punktów procentowych poprawy przy niskim budżecie obliczeniowym.
Artykuł:
Neural Networks
Autorzy z PW:
Tomasz Trzciński, Filip Szatkowski
Dyscyplina:
Rok wydania: