BigDocs: Um Conjunto de Dados Aberto e Licenciado de Forma Permissiva para Treinar Modelos Multimodais em Tarefas de Documentos e Código

BigDocs: An Open and Permissively-Licensed Dataset for Training Multimodal Models on Document and Code Tasks

December 5, 2024

Autores: Juan Rodriguez, Xiangru Jian, Siba Smarak Panigrahi, Tianyu Zhang, Aarash Feizi, Abhay Puri, Akshay Kalkunte, François Savard, Ahmed Masry, Shravan Nayak, Rabiul Awal, Mahsa Massoud, Amirhossein Abaskohi, Zichao Li, Suyuchen Wang, Pierre-André Noël, Mats Leon Richter, Saverio Vadacchino, Shubbam Agarwal, Sanket Biswas, Sara Shanian, Ying Zhang, Noah Bolger, Kurt MacDonald, Simon Fauvel, Sathwik Tejaswi, Srinivas Sunkara, Joao Monteiro, Krishnamurthy DJ Dvijotham, Torsten Scholak, Nicolas Chapados, Sepideh Kharagani, Sean Hughes, M. Özsu, Siva Reddy, Marco Pedersoli, Yoshua Bengio, Christopher Pal, Issam Laradji, Spandanna Gella, Perouz Taslakian, David Vazquez, Sai Rajeswar

cs.AI

Resumo

A IA Multimodal tem o potencial de melhorar significativamente tarefas de compreensão de documentos, como processamento de recibos, entendimento de fluxos de trabalho, extração de dados de documentos e resumos de relatórios. Tarefas de geração de código que exigem saídas longas e estruturadas também podem ser aprimoradas pela multimodalidade. No entanto, seu uso em aplicações comerciais frequentemente é limitado devido ao acesso restrito a dados de treinamento e a licenciamento restritivo, o que dificulta o acesso aberto. Para lidar com essas limitações, apresentamos o BigDocs-7.5M, um conjunto de dados de alta qualidade e acesso aberto composto por 7,5 milhões de documentos multimodais em 30 tarefas. Utilizamos um processo eficiente de curadoria de dados para garantir que nossos dados sejam de alta qualidade e de licença permissiva. Nosso processo enfatiza a responsabilidade, responsabilidade e transparência por meio de regras de filtragem, metadados rastreáveis e análise cuidadosa de conteúdo. Além disso, introduzimos o BigDocs-Bench, uma suíte de benchmark com 10 tarefas inovadoras, nas quais criamos conjuntos de dados que refletem casos de uso do mundo real envolvendo raciocínio sobre Interfaces Gráficas do Usuário (GUI) e geração de código a partir de imagens. Nossos experimentos mostram que o treinamento com o BigDocs-Bench melhora o desempenho médio em até 25,8% em relação ao GPT-4o de código fechado em tarefas de raciocínio de documentos e saídas estruturadas, como geração de Screenshot2HTML ou Image2Latex. Por fim, avaliações humanas mostraram uma preferência por saídas de modelos treinados no BigDocs em relação ao GPT-4o. Isso sugere que o BigDocs pode ajudar tanto acadêmicos quanto a comunidade de código aberto a utilizar e aprimorar ferramentas de IA para melhorar as capacidades multimodais e o raciocínio de documentos. O projeto está hospedado em https://bigdocs.github.io.

English

Multimodal AI has the potential to significantly enhance document-understanding tasks, such as processing receipts, understanding workflows, extracting data from documents, and summarizing reports. Code generation tasks that require long-structured outputs can also be enhanced by multimodality. Despite this, their use in commercial applications is often limited due to limited access to training data and restrictive licensing, which hinders open access. To address these limitations, we introduce BigDocs-7.5M, a high-quality, open-access dataset comprising 7.5 million multimodal documents across 30 tasks. We use an efficient data curation process to ensure our data is high-quality and license-permissive. Our process emphasizes accountability, responsibility, and transparency through filtering rules, traceable metadata, and careful content analysis. Additionally, we introduce BigDocs-Bench, a benchmark suite with 10 novel tasks where we create datasets that reflect real-world use cases involving reasoning over Graphical User Interfaces (GUI) and code generation from images. Our experiments show that training with BigDocs-Bench improves average performance up to 25.8% over closed-source GPT-4o in document reasoning and structured output tasks such as Screenshot2HTML or Image2Latex generation. Finally, human evaluations showed a preference for outputs from models trained on BigDocs over GPT-4o. This suggests that BigDocs can help both academics and the open-source community utilize and improve AI tools to enhance multimodal capabilities and document reasoning. The project is hosted at https://bigdocs.github.io .