BigDocs : un ensemble de données ouvert et sous licence permissive pour l'entraînement de modèles multimodaux sur des tâches de documents et de code

BigDocs: An Open and Permissively-Licensed Dataset for Training Multimodal Models on Document and Code Tasks

December 5, 2024

Auteurs: Juan Rodriguez, Xiangru Jian, Siba Smarak Panigrahi, Tianyu Zhang, Aarash Feizi, Abhay Puri, Akshay Kalkunte, François Savard, Ahmed Masry, Shravan Nayak, Rabiul Awal, Mahsa Massoud, Amirhossein Abaskohi, Zichao Li, Suyuchen Wang, Pierre-André Noël, Mats Leon Richter, Saverio Vadacchino, Shubbam Agarwal, Sanket Biswas, Sara Shanian, Ying Zhang, Noah Bolger, Kurt MacDonald, Simon Fauvel, Sathwik Tejaswi, Srinivas Sunkara, Joao Monteiro, Krishnamurthy DJ Dvijotham, Torsten Scholak, Nicolas Chapados, Sepideh Kharagani, Sean Hughes, M. Özsu, Siva Reddy, Marco Pedersoli, Yoshua Bengio, Christopher Pal, Issam Laradji, Spandanna Gella, Perouz Taslakian, David Vazquez, Sai Rajeswar

cs.AI

Résumé

L'IA multimodale a le potentiel d'améliorer significativement les tâches de compréhension de documents, telles que le traitement des reçus, la compréhension des flux de travail, l'extraction de données des documents et la rédaction de rapports. Les tâches de génération de code nécessitant des sorties longues et structurées peuvent également bénéficier de la multimodalité. Malgré cela, leur utilisation dans les applications commerciales est souvent limitée en raison d'un accès restreint aux données d'entraînement et de licences restrictives, ce qui entrave l'accès ouvert. Pour pallier ces limitations, nous présentons BigDocs-7.5M, un ensemble de données de haute qualité et en accès libre comprenant 7,5 millions de documents multimodaux répartis sur 30 tâches. Nous utilisons un processus efficace de curation des données pour garantir la qualité de nos données et leur compatibilité avec les licences. Notre processus met l'accent sur la responsabilité, la transparence et l'analyse minutieuse du contenu à travers des règles de filtrage, des métadonnées traçables et une analyse de contenu soigneuse. De plus, nous introduisons BigDocs-Bench, une suite de référence avec 10 nouvelles tâches où nous créons des ensembles de données reflétant des cas d'utilisation réels impliquant le raisonnement sur les Interfaces Utilisateur Graphiques (GUI) et la génération de code à partir d'images. Nos expériences montrent que l'entraînement avec BigDocs-Bench améliore les performances moyennes jusqu'à 25,8% par rapport à GPT-4o en source fermée dans le raisonnement sur les documents et les tâches de sortie structurée telles que la génération de Screenshot2HTML ou Image2Latex. Enfin, les évaluations humaines ont montré une préférence pour les sorties des modèles entraînés sur BigDocs par rapport à GPT-4o. Cela suggère que BigDocs peut aider à la fois les universitaires et la communauté open source à utiliser et améliorer les outils d'IA pour renforcer les capacités multimodales et le raisonnement sur les documents. Le projet est hébergé sur https://bigdocs.github.io.

English

Multimodal AI has the potential to significantly enhance document-understanding tasks, such as processing receipts, understanding workflows, extracting data from documents, and summarizing reports. Code generation tasks that require long-structured outputs can also be enhanced by multimodality. Despite this, their use in commercial applications is often limited due to limited access to training data and restrictive licensing, which hinders open access. To address these limitations, we introduce BigDocs-7.5M, a high-quality, open-access dataset comprising 7.5 million multimodal documents across 30 tasks. We use an efficient data curation process to ensure our data is high-quality and license-permissive. Our process emphasizes accountability, responsibility, and transparency through filtering rules, traceable metadata, and careful content analysis. Additionally, we introduce BigDocs-Bench, a benchmark suite with 10 novel tasks where we create datasets that reflect real-world use cases involving reasoning over Graphical User Interfaces (GUI) and code generation from images. Our experiments show that training with BigDocs-Bench improves average performance up to 25.8% over closed-source GPT-4o in document reasoning and structured output tasks such as Screenshot2HTML or Image2Latex generation. Finally, human evaluations showed a preference for outputs from models trained on BigDocs over GPT-4o. This suggests that BigDocs can help both academics and the open-source community utilize and improve AI tools to enhance multimodal capabilities and document reasoning. The project is hosted at https://bigdocs.github.io .