BigDocs：文書およびコードタスクのマルチモーダルモデルを訓練するためのオープンかつ許可されたデータセット

BigDocs: An Open and Permissively-Licensed Dataset for Training Multimodal Models on Document and Code Tasks

December 5, 2024

著者: Juan Rodriguez, Xiangru Jian, Siba Smarak Panigrahi, Tianyu Zhang, Aarash Feizi, Abhay Puri, Akshay Kalkunte, François Savard, Ahmed Masry, Shravan Nayak, Rabiul Awal, Mahsa Massoud, Amirhossein Abaskohi, Zichao Li, Suyuchen Wang, Pierre-André Noël, Mats Leon Richter, Saverio Vadacchino, Shubbam Agarwal, Sanket Biswas, Sara Shanian, Ying Zhang, Noah Bolger, Kurt MacDonald, Simon Fauvel, Sathwik Tejaswi, Srinivas Sunkara, Joao Monteiro, Krishnamurthy DJ Dvijotham, Torsten Scholak, Nicolas Chapados, Sepideh Kharagani, Sean Hughes, M. Özsu, Siva Reddy, Marco Pedersoli, Yoshua Bengio, Christopher Pal, Issam Laradji, Spandanna Gella, Perouz Taslakian, David Vazquez, Sai Rajeswar

cs.AI

要旨

マルチモーダルAIは、領収書の処理、ワークフローの理解、文書からのデータ抽出、レポートの要約など、文書理解タスクを大幅に向上させる潜在能力を持っています。長い構造化された出力が必要なコード生成タスクも、マルチモーダリティによって向上させることができます。しかし、商業アプリケーションでの利用は、トレーニングデータへの限られたアクセスや制限的なライセンスによってしばしば制限されており、オープンアクセスが妨げられています。これらの制限に対処するために、私たちはBigDocs-7.5Mを導入します。これは、30のタスクにわたる750万のマルチモーダル文書からなる高品質でオープンアクセスのデータセットです。私たちは効率的なデータキュレーションプロセスを使用して、データが高品質でライセンス許可されていることを確認しています。私たちのプロセスは、フィルタリングルール、追跡可能なメタデータ、慎重なコンテンツ分析を通じて、説明責任、責任、透明性を重視しています。さらに、GUI上での推論や画像からのコード生成を含む実世界のユースケースを反映するデータセットを作成する10の新しいタスクを備えたベンチマークスイートであるBigDocs-Benchを導入しています。私たちの実験は、BigDocs-Benchでのトレーニングが、文書推論やScreenshot2HTML、Image2Latex生成などの構造化された出力タスクにおいて、クローズドソースのGPT-4oよりも平均パフォーマンスを最大25.8%向上させることを示しています。最後に、ヒューマン評価では、BigDocsでトレーニングされたモデルの出力がGPT-4oよりも好まれる傾向が示されました。これは、BigDocsが学術界やオープンソースコミュニティの両方がマルチモーダル機能と文書推論を向上させるためにAIツールを活用し改善するのに役立つ可能性があることを示唆しています。このプロジェクトは、https://bigdocs.github.io でホストされています。

English

Multimodal AI has the potential to significantly enhance document-understanding tasks, such as processing receipts, understanding workflows, extracting data from documents, and summarizing reports. Code generation tasks that require long-structured outputs can also be enhanced by multimodality. Despite this, their use in commercial applications is often limited due to limited access to training data and restrictive licensing, which hinders open access. To address these limitations, we introduce BigDocs-7.5M, a high-quality, open-access dataset comprising 7.5 million multimodal documents across 30 tasks. We use an efficient data curation process to ensure our data is high-quality and license-permissive. Our process emphasizes accountability, responsibility, and transparency through filtering rules, traceable metadata, and careful content analysis. Additionally, we introduce BigDocs-Bench, a benchmark suite with 10 novel tasks where we create datasets that reflect real-world use cases involving reasoning over Graphical User Interfaces (GUI) and code generation from images. Our experiments show that training with BigDocs-Bench improves average performance up to 25.8% over closed-source GPT-4o in document reasoning and structured output tasks such as Screenshot2HTML or Image2Latex generation. Finally, human evaluations showed a preference for outputs from models trained on BigDocs over GPT-4o. This suggests that BigDocs can help both academics and the open-source community utilize and improve AI tools to enhance multimodal capabilities and document reasoning. The project is hosted at https://bigdocs.github.io .