Coevolutionary Algorithm for Building Robust Decision Trees under Minimax Regret
W ostatnich latach rośnie zainteresowanie rozwijaniem odpornych modeli uczenia maszynowego, które mogą skutecznie przeciwstawiać się atakom adwersarialnym. Dotyczy to również drzew decyzyjnych – jednego z najczęściej stosowanych, efektywnych i interpretowalnych algorytmów uczenia maszynowego. Praca przedstawia nowatorski algorytm koewolucyjny (CoEvoRDT), zaprojektowany w celu tworzenia odpornych drzew decyzyjnych, które mogą skutecznie przetwarzać zaszumione dane o wysokiej wymiarowości w kontekście ataków adwersarialnych.
W metodzie CoEvoRDT wykorzystano adaptacyjną koewolucję, aby umożliwić ewolucję drzew decyzyjnych w interakcji z zaburzonymi danymi wejściowymi. CoEvoRDT naprzemiennie rozwija konkurujące populacje drzew decyzyjnych oraz zaburzonych cech, co pozwala na konstruowanie drzew decyzyjnych o pożądanych właściwościach. Algorytm można łatwo dostosować do różnych metryk optymalizacyjnych, umożliwiając zastosowanie różnych kryteriów odporności, np. minimax regret.
Dodatkowo, CoEvoRDT posiada potencjał do poprawy wyników innych konkurencyjnych metod poprzez włączenie wygenerowanych przez nich drzew decyzyjnych do swojej początkowej populacji i ich dalszą optymalizację w procesie koewolucji. W zaproponowanej metodzie, do poprawy zbieżności przeszukiwania wykorzystano ideę mieszanej równowagi Nasha, pochodzącą z teorii gier.
Metoda CoEvoRDT została przetestowana na 20 popularnych zbiorach danych i osiągnęła najlepsze wyniki w porównaniu z 4 innymi zaawansowanymi algorytmami. Pokonała wszystkie konkurencyjne metody na 13 zbiorach danych pod względem metryki adeversarial accuracy oraz na wszystkich 20 zbiorach danych według metryki minimax regret. Bardzo dobre wyniki eksperymentalne oraz elastyczność w doborze metryki skuteczności czynią CoEvoRDT obiecującym podejściem do konstruowania odpornych drzew decyzyjnych w rzeczywistych zastosowaniach.
Materiał konferencyjny:
Proceedings of 38th AAAI Conference on Artificial Intelligence
Autorzy z PW:
Adam Żychowski, Jacek Mańdziuk
Dyscyplina:
Rok wydania: