BigDocs: Un conjunto de datos abierto y con licencia permisiva para entrenar modelos multimodales en tareas de documentos y código.

BigDocs: An Open and Permissively-Licensed Dataset for Training Multimodal Models on Document and Code Tasks

December 5, 2024

Autores: Juan Rodriguez, Xiangru Jian, Siba Smarak Panigrahi, Tianyu Zhang, Aarash Feizi, Abhay Puri, Akshay Kalkunte, François Savard, Ahmed Masry, Shravan Nayak, Rabiul Awal, Mahsa Massoud, Amirhossein Abaskohi, Zichao Li, Suyuchen Wang, Pierre-André Noël, Mats Leon Richter, Saverio Vadacchino, Shubbam Agarwal, Sanket Biswas, Sara Shanian, Ying Zhang, Noah Bolger, Kurt MacDonald, Simon Fauvel, Sathwik Tejaswi, Srinivas Sunkara, Joao Monteiro, Krishnamurthy DJ Dvijotham, Torsten Scholak, Nicolas Chapados, Sepideh Kharagani, Sean Hughes, M. Özsu, Siva Reddy, Marco Pedersoli, Yoshua Bengio, Christopher Pal, Issam Laradji, Spandanna Gella, Perouz Taslakian, David Vazquez, Sai Rajeswar

cs.AI

Resumen

La inteligencia artificial multimodal tiene el potencial de mejorar significativamente las tareas de comprensión de documentos, como el procesamiento de recibos, la comprensión de flujos de trabajo, la extracción de datos de documentos y la síntesis de informes. Las tareas de generación de código que requieren salidas estructuradas largas también pueden beneficiarse de la multimodalidad. A pesar de esto, su uso en aplicaciones comerciales a menudo se ve limitado debido al acceso limitado a datos de entrenamiento y a licencias restrictivas, lo que dificulta el acceso abierto. Para abordar estas limitaciones, presentamos BigDocs-7.5M, un conjunto de datos de alta calidad y acceso abierto que consta de 7.5 millones de documentos multimodales en 30 tareas. Utilizamos un proceso eficiente de curación de datos para garantizar que nuestros datos sean de alta calidad y con licencia permisiva. Nuestro proceso enfatiza la responsabilidad, la transparencia y la rendición de cuentas a través de reglas de filtrado, metadatos rastreables y un cuidadoso análisis de contenido. Además, presentamos BigDocs-Bench, un conjunto de pruebas con 10 tareas novedosas en las que creamos conjuntos de datos que reflejan casos de uso del mundo real que implican razonamiento sobre Interfaces Gráficas de Usuario (GUI) y generación de código a partir de imágenes. Nuestros experimentos muestran que el entrenamiento con BigDocs-Bench mejora el rendimiento promedio hasta un 25.8% en comparación con GPT-4o de código cerrado en tareas de razonamiento de documentos y salidas estructuradas como la generación de Screenshot2HTML o Image2Latex. Finalmente, las evaluaciones humanas mostraron una preferencia por las salidas de modelos entrenados en BigDocs sobre GPT-4o. Esto sugiere que BigDocs puede ayudar tanto a académicos como a la comunidad de código abierto a utilizar y mejorar herramientas de inteligencia artificial para potenciar capacidades multimodales y razonamiento de documentos. El proyecto se encuentra alojado en https://bigdocs.github.io.

English

Multimodal AI has the potential to significantly enhance document-understanding tasks, such as processing receipts, understanding workflows, extracting data from documents, and summarizing reports. Code generation tasks that require long-structured outputs can also be enhanced by multimodality. Despite this, their use in commercial applications is often limited due to limited access to training data and restrictive licensing, which hinders open access. To address these limitations, we introduce BigDocs-7.5M, a high-quality, open-access dataset comprising 7.5 million multimodal documents across 30 tasks. We use an efficient data curation process to ensure our data is high-quality and license-permissive. Our process emphasizes accountability, responsibility, and transparency through filtering rules, traceable metadata, and careful content analysis. Additionally, we introduce BigDocs-Bench, a benchmark suite with 10 novel tasks where we create datasets that reflect real-world use cases involving reasoning over Graphical User Interfaces (GUI) and code generation from images. Our experiments show that training with BigDocs-Bench improves average performance up to 25.8% over closed-source GPT-4o in document reasoning and structured output tasks such as Screenshot2HTML or Image2Latex generation. Finally, human evaluations showed a preference for outputs from models trained on BigDocs over GPT-4o. This suggests that BigDocs can help both academics and the open-source community utilize and improve AI tools to enhance multimodal capabilities and document reasoning. The project is hosted at https://bigdocs.github.io .