BigDocs: Een open en vrijelijk gelicentieerde dataset voor het trainen van multimodale modellen voor taken met documenten en code.

Samenvatting

Multimodale AI heeft het potentieel om documentbegripstaken aanzienlijk te verbeteren, zoals het verwerken van bonnetjes, begrijpen van workflows, data extraheren uit documenten en rapporten samenvatten. Codegeneratietaken die lange gestructureerde uitvoer vereisen, kunnen ook worden verbeterd door multimodaliteit. Ondanks dit is hun gebruik in commerciële toepassingen vaak beperkt vanwege beperkte toegang tot trainingsgegevens en beperkende licenties, wat open toegang belemmert. Om deze beperkingen aan te pakken, introduceren we BigDocs-7.5M, een hoogwaardige, open-access dataset bestaande uit 7,5 miljoen multimodale documenten over 30 taken. We gebruiken een efficiënt gegevenscuratieproces om ervoor te zorgen dat onze gegevens van hoge kwaliteit zijn en licentie-toestaand. Ons proces benadrukt verantwoording, verantwoordelijkheid en transparantie door filterregels, traceerbare metadata en zorgvuldige inhoudsanalyse. Daarnaast introduceren we BigDocs-Bench, een benchmark suite met 10 nieuwe taken waarbij we datasets creëren die real-world use cases weerspiegelen die redeneren over Graphical User Interfaces (GUI) en codegeneratie uit afbeeldingen omvatten. Onze experimenten tonen aan dat training met BigDocs-Bench de gemiddelde prestaties tot 25,8% verbetert ten opzichte van het closed-source GPT-4o bij documentredenering en gestructureerde uitvoertaken zoals Screenshot2HTML of Image2Latex-generatie. Ten slotte toonden menselijke evaluaties een voorkeur voor uitvoer van modellen getraind op BigDocs boven GPT-4o. Dit suggereert dat BigDocs zowel academici als de open-source gemeenschap kunnen helpen bij het benutten en verbeteren van AI-tools om multimodale mogelijkheden en documentredenering te verbeteren. Het project is gehost op https://bigdocs.github.io.

English

Multimodal AI has the potential to significantly enhance document-understanding tasks, such as processing receipts, understanding workflows, extracting data from documents, and summarizing reports. Code generation tasks that require long-structured outputs can also be enhanced by multimodality. Despite this, their use in commercial applications is often limited due to limited access to training data and restrictive licensing, which hinders open access. To address these limitations, we introduce BigDocs-7.5M, a high-quality, open-access dataset comprising 7.5 million multimodal documents across 30 tasks. We use an efficient data curation process to ensure our data is high-quality and license-permissive. Our process emphasizes accountability, responsibility, and transparency through filtering rules, traceable metadata, and careful content analysis. Additionally, we introduce BigDocs-Bench, a benchmark suite with 10 novel tasks where we create datasets that reflect real-world use cases involving reasoning over Graphical User Interfaces (GUI) and code generation from images. Our experiments show that training with BigDocs-Bench improves average performance up to 25.8% over closed-source GPT-4o in document reasoning and structured output tasks such as Screenshot2HTML or Image2Latex generation. Finally, human evaluations showed a preference for outputs from models trained on BigDocs over GPT-4o. This suggests that BigDocs can help both academics and the open-source community utilize and improve AI tools to enhance multimodal capabilities and document reasoning. The project is hosted at https://bigdocs.github.io .

BigDocs: Een open en vrijelijk gelicentieerde dataset voor het trainen van multimodale modellen voor taken met documenten en code.

BigDocs: An Open and Permissively-Licensed Dataset for Training Multimodal Models on Document and Code Tasks

Samenvatting

Support