DiagramBank: 検索拡張生成のための論文メタデータ付き大規模図表デザイン実例データセット

DiagramBank: A Large-scale Dataset of Diagram Design Exemplars with Paper Metadata for Retrieval-Augmented Generation

February 28, 2026

著者: Tingwen Zhang, Ling Yue, Zhen Xu, Shaowu Pan

cs.AI

要旨

自律型「AI科学者」システムの最近の進歩により、科学的論文と実行可能なコードを自動生成する能力が実証されている。しかし、出版レベルの科学的図表（ティーザー図など）の作成は、「エンドツーエンド」の論文生成プロセスにおいて依然として主要なボトルネックとなっている。例えば、ティーザー図は戦略的なビジュアルインターフェースとして機能し、派生データプロットとは異なる目的を果たす。それは、複雑な論理ワークフローを直感を導き好奇心を刺激する説得力のあるグラフィックに変換するために、概念的な統合と計画を要求する。既存のAI科学者システムは通常この構成要素を省略するか、劣った代替手段に頼っている。このギャップを埋めるため、我々はDiagramBankを提案する。これはトップティアの科学出版物から収集された89,422点の概略図から構成される大規模データセットであり、マルチモーダル検索と事例駆動型の科学的図表生成向けに設計されている。DiagramBankは、図表と対応する本文中の参照を抽出し、CLIPベースのフィルターを用いて概略図と標準的なプロットや自然画像を区別する自動収集パイプラインを通じて構築された。各インスタンスは要約、キャプションから図表-参照ペアに至る豊富な文脈と対になっており、様々なクエリ粒度での情報検索を可能にする。我々はDiagramBankを索引化可能な形式で公開し、検索強化生成コードベースを提供して、事例条件付きのティーザー図合成を実証する。DiagramBankはhttps://huggingface.co/datasets/zhangt20/DiagramBank で公開され、コードは https://github.com/csml-rpi/DiagramBank で入手可能である。

English

Recent advances in autonomous ``AI scientist'' systems have demonstrated the ability to automatically write scientific manuscripts and codes with execution. However, producing a publication-grade scientific diagram (e.g., teaser figure) is still a major bottleneck in the ``end-to-end'' paper generation process. For example, a teaser figure acts as a strategic visual interface and serves a different purpose than derivative data plots. It demands conceptual synthesis and planning to translate complex logic workflow into a compelling graphic that guides intuition and sparks curiosity. Existing AI scientist systems usually omit this component or fall back to an inferior alternative. To bridge this gap, we present DiagramBank, a large-scale dataset consisting of 89,422 schematic diagrams curated from existing top-tier scientific publications, designed for multimodal retrieval and exemplar-driven scientific figure generation. DiagramBank is developed through our automated curation pipeline that extracts figures and corresponding in-text references, and uses a CLIP-based filter to differentiate schematic diagrams from standard plots or natural images. Each instance is paired with rich context from abstract, caption, to figure-reference pairs, enabling information retrieval under different query granularities. We release DiagramBank in a ready-to-index format and provide a retrieval-augmented generation codebase to demonstrate exemplar-conditioned synthesis of teaser figures. DiagramBank is publicly available at https://huggingface.co/datasets/zhangt20/DiagramBank with code at https://github.com/csml-rpi/DiagramBank.