Arctic-TILT. Business Document Understanding at Sub-Billion Scale
Istotna część pracy którą deleguje się do Dużych Modeli Języka tyczy się odpowiadania na pytania związane z treścią dokumentu w formacie PDF bądź zeskanowanego. Wprowadzamy model Arctic-TILT, o którym wykazujemy, że osiąga jakość porównywalną z modelami 1000x większymi. Można do wystroić oraz zainstalować na pojedynczej karcie GPU 24Gi, minimalizując koszt operacyjny bez straty jakości, będąc w stanie procesować do 400k tokenów. Model osiąga wyniki klasy SOTA na siedmiu różnych zadaniach rozumienia dokumentów, a także gwarantuje wiarygodne skalowanie poziomu ufności i szybką inferencję, które są kluczowe dla procesowania plików w dużej skali bądź w środowiskach wymagających niskich opóźnień.
Materiał konferencyjny:
Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 6: Industry Track)
Autorzy z PW:
Paweł Józiak
Dyscyplina:
Rok wydania: