Przejdź do treści

Arctic-TILT. Business Document Understanding at Sub-Billion Scale

Istotna część pracy którą deleguje się do Dużych Modeli Języka tyczy się odpowiadania na pytania związane z treścią dokumentu w formacie PDF bądź zeskanowanego. Wprowadzamy model Arctic-TILT, o którym wykazujemy, że osiąga jakość porównywalną z modelami 1000x większymi. Można do wystroić oraz zainstalować na pojedynczej karcie GPU 24Gi, minimalizując koszt operacyjny bez straty jakości, będąc w stanie procesować do 400k tokenów. Model osiąga wyniki klasy SOTA na siedmiu różnych zadaniach rozumienia dokumentów, a także gwarantuje wiarygodne skalowanie poziomu ufności i szybką inferencję, które są kluczowe dla procesowania plików w dużej skali bądź w środowiskach wymagających niskich opóźnień.

Materiał konferencyjny:

Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 6: Industry Track)

Autorzy z PW:

Paweł Józiak

Rok wydania: