BigDocs: открытый и лицензируемый с разрешением набор данных для обучения мультимодельных моделей на задачах документов и кода

BigDocs: An Open and Permissively-Licensed Dataset for Training Multimodal Models on Document and Code Tasks

December 5, 2024

Авторы: Juan Rodriguez, Xiangru Jian, Siba Smarak Panigrahi, Tianyu Zhang, Aarash Feizi, Abhay Puri, Akshay Kalkunte, François Savard, Ahmed Masry, Shravan Nayak, Rabiul Awal, Mahsa Massoud, Amirhossein Abaskohi, Zichao Li, Suyuchen Wang, Pierre-André Noël, Mats Leon Richter, Saverio Vadacchino, Shubbam Agarwal, Sanket Biswas, Sara Shanian, Ying Zhang, Noah Bolger, Kurt MacDonald, Simon Fauvel, Sathwik Tejaswi, Srinivas Sunkara, Joao Monteiro, Krishnamurthy DJ Dvijotham, Torsten Scholak, Nicolas Chapados, Sepideh Kharagani, Sean Hughes, M. Özsu, Siva Reddy, Marco Pedersoli, Yoshua Bengio, Christopher Pal, Issam Laradji, Spandanna Gella, Perouz Taslakian, David Vazquez, Sai Rajeswar

cs.AI

Аннотация

Мультимодальный искусственный интеллект имеет потенциал значительно улучшить задачи понимания документов, такие как обработка квитанций, понимание рабочих процессов, извлечение данных из документов и составление сводок. Задачи генерации кода, требующие создания длинных структурированных выводов, также могут быть улучшены с помощью мультимодальности. Однако их использование в коммерческих приложениях часто ограничено из-за ограниченного доступа к обучающим данным и ограничительных лицензий, что затрудняет открытый доступ. Для преодоления этих ограничений мы представляем BigDocs-7.5M, высококачественный набор данных с открытым доступом, включающий 7,5 миллиона мультимодальных документов по 30 задачам. Мы используем эффективный процесс курирования данных, чтобы гарантировать высокое качество и лицензионную доступность наших данных. Наш процесс акцентирует внимание на ответственности и прозрачности через правила фильтрации, отслеживаемую метаданные и тщательный анализ контента. Кроме того, мы представляем BigDocs-Bench, набор тестов с 10 новыми задачами, где мы создаем наборы данных, отражающие реальные сценарии использования, включающие рассуждения над графическими пользовательскими интерфейсами (GUI) и генерацию кода из изображений. Наши эксперименты показывают, что обучение с использованием BigDocs-Bench улучшает среднюю производительность до 25,8% по сравнению с закрытым исходным кодом GPT-4o в задачах рассуждения над документами и создания структурированного вывода, таких как генерация Screenshot2HTML или Image2Latex. Наконец, оценки людей показали предпочтение результатов моделей, обученных на BigDocs, перед GPT-4o. Это говорит о том, что BigDocs может помочь как академическому сообществу, так и сообществу с открытым исходным кодом использовать и улучшать инструменты искусственного интеллекта для улучшения мультимодальных возможностей и рассуждения над документами. Проект размещен на https://bigdocs.github.io.

English

Multimodal AI has the potential to significantly enhance document-understanding tasks, such as processing receipts, understanding workflows, extracting data from documents, and summarizing reports. Code generation tasks that require long-structured outputs can also be enhanced by multimodality. Despite this, their use in commercial applications is often limited due to limited access to training data and restrictive licensing, which hinders open access. To address these limitations, we introduce BigDocs-7.5M, a high-quality, open-access dataset comprising 7.5 million multimodal documents across 30 tasks. We use an efficient data curation process to ensure our data is high-quality and license-permissive. Our process emphasizes accountability, responsibility, and transparency through filtering rules, traceable metadata, and careful content analysis. Additionally, we introduce BigDocs-Bench, a benchmark suite with 10 novel tasks where we create datasets that reflect real-world use cases involving reasoning over Graphical User Interfaces (GUI) and code generation from images. Our experiments show that training with BigDocs-Bench improves average performance up to 25.8% over closed-source GPT-4o in document reasoning and structured output tasks such as Screenshot2HTML or Image2Latex generation. Finally, human evaluations showed a preference for outputs from models trained on BigDocs over GPT-4o. This suggests that BigDocs can help both academics and the open-source community utilize and improve AI tools to enhance multimodal capabilities and document reasoning. The project is hosted at https://bigdocs.github.io .