FS-DAG: Few Shot Domain Adapting Graph Networks voor het Begrijpen van Visueel Rijke Documenten
FS-DAG: Few Shot Domain Adapting Graph Networks for Visually Rich Document Understanding
May 22, 2025
Auteurs: Amit Agarwal, Srikant Panda, Kulbhushan Pachauri
cs.AI
Samenvatting
In dit werk introduceren we Few Shot Domain Adapting Graph (FS-DAG), een schaalbare en efficiënte modelarchitectuur voor het begrijpen van visueel rijke documenten (VRDU) in few-shot settings. FS-DAG maakt gebruik van domeinspecifieke en taal/visie-specifieke backbones binnen een modulair framework om zich aan te passen aan diverse documenttypen met minimale data. Het model is robuust tegen praktische uitdagingen zoals het omgaan met OCR-fouten, spelfouten en domeinverschuivingen, wat cruciaal is voor implementaties in de echte wereld. FS-DAG presteert uitstekend met minder dan 90M parameters, waardoor het zeer geschikt is voor complexe real-world toepassingen voor Informatie-extractie (IE) taken waar computermiddelen beperkt zijn. We demonstreren de capaciteiten van FS-DAG door middel van uitgebreide experimenten voor informatie-extractietaken, waarbij significante verbeteringen in convergentiesnelheid en prestaties worden getoond in vergelijking met state-of-the-art methoden. Daarnaast benadrukt dit werk de voortdurende vooruitgang in het ontwikkelen van kleinere, efficiëntere modellen die niet inboeten aan prestaties. Code: https://github.com/oracle-samples/fs-dag
English
In this work, we propose Few Shot Domain Adapting Graph (FS-DAG), a scalable
and efficient model architecture for visually rich document understanding
(VRDU) in few-shot settings. FS-DAG leverages domain-specific and
language/vision specific backbones within a modular framework to adapt to
diverse document types with minimal data. The model is robust to practical
challenges such as handling OCR errors, misspellings, and domain shifts, which
are critical in real-world deployments. FS-DAG is highly performant with less
than 90M parameters, making it well-suited for complex real-world applications
for Information Extraction (IE) tasks where computational resources are
limited. We demonstrate FS-DAG's capability through extensive experiments for
information extraction task, showing significant improvements in convergence
speed and performance compared to state-of-the-art methods. Additionally, this
work highlights the ongoing progress in developing smaller, more efficient
models that do not compromise on performance. Code :
https://github.com/oracle-samples/fs-dag