Przejdź do treści

FlowHMM: Flow-based continuous hidden Markov models

Ciągłe ukryte modele Markowa (HMM) zakładają, że obserwacje są generowane z mieszaniny rozkładów Gaussa, co ogranicza ich zdolność do modelowania bardziej złożonych rozkładów. W niniejszej pracy zajmujemy się tym ograniczeniem i proponujemy nowe ciągłe modele HMM, nazwane FlowHMM, które umożliwiają uczenie dowolnych ciągłych gęstości obserwacji bez narzucania im rozkładu Gaussa lub jego mieszanin. W tym celu wykorzystujemy głębokie architektury oparte na przepływach (flow-based), które modelują złożone, niegaussowskie funkcje, oraz proponujemy dwie warianty treningu modelu FlowHMM.

Pierwszy wariant, oparty na technice gradientowej, może być stosowany bezpośrednio do ciągłych wielowymiarowych danych, jednak jego zastosowanie do dłuższych sekwencji danych pozostaje obliczeniowo kosztowne. Dlatego przedstawiamy także drugie podejście do treningu FlowHMM, które opiera się na macierzy współwystąpień dyskretyzowanych obserwacji i rozważa wspólny rozkład par współobserwowanych wartości, dzięki czemu czas treningu jest niezależny od długości sekwencji treningowej.

W rezultacie otrzymujemy model, który można elastycznie dostosować do charakterystyki i wymiarowości danych. Przeprowadziliśmy szereg eksperymentów, w których porównujemy obie strategie treningowe z bazowym modelem mieszanin gaussowskich. Wykazujemy, że pod względem jakości odtworzonego rozkładu prawdopodobieństwa, dokładności przewidywania ukrytych stanów oraz prawdopodobieństwa danych nieobserwowanych, nasze podejście przewyższa standardowe metody gaussowskie.

Materiał konferencyjny:

Advances in Neural Information Processing Systems 35

Autorzy z PW:

Tomasz Trzciński

Rok wydania: