DiagramBank: 검색 증대 생성을 위한 논문 메타데이터가 포함된 대규모 다이어그램 디자인 예제 데이터셋

DiagramBank: A Large-scale Dataset of Diagram Design Exemplars with Paper Metadata for Retrieval-Augmented Generation

February 28, 2026

저자: Tingwen Zhang, Ling Yue, Zhen Xu, Shaowu Pan

cs.AI

초록

최근 자율적인 'AI 과학자' 시스템의 발전으로 과학 논문과 실행 가능한 코드를 자동으로 작성하는 능력이 입증되었습니다. 그러나 출판 수준의 과학 도표(예: 티저 그림)를 생성하는 것은 '종단간' 논문 생성 과정에서 여전히 주요 병목 현상으로 남아 있습니다. 예를 들어, 티저 그림은 전략적인 시각적 인터페이스 역할을 하며 파생된 데이터 플롯과는 다른 목적을 제공합니다. 이는 복잡한 논리 워크플로를 직관을 안내하고 호기심을 자아내는 매력적인 그래픽으로 전환하기 위해 개념적 종합과 계획을 요구합니다. 기존 AI 과학자 시스템은 일반적으로 이 구성 요소를 생략하거나 열등한 대안으로 회귀합니다. 이러한 격차를 해소하기 위해 우리는 다중 모드 검색 및 예시 기반 과학 도표 생성을 위해 설계된, 기존 최상위 과학 출판물에서 선별된 89,422개의 개략도로 구성된 대규모 데이터셋인 DiagramBank를 제안합니다. DiagramBank는 그림과 해당 본문 내 참조를 추출하고 CLIP 기반 필터를 사용하여 개략도와 일반 플롯 또는 자연 이미지를 구분하는 자동화된 선별 파이프라인을 통해 개발되었습니다. 각 인스턴스는 초록, 캡션부터 그림-참조 쌍에 이르기까지 풍부한 컨텍스트와 쌍을 이루어 다양한 질의 세분성 하에서 정보 검색을 가능하게 합니다. 우리는 DiagramBank를 바로 색인 가능한 형식으로 공개하고 티저 그림의 예시 조건 합성을 입증하기 위한 검색 증강 생성 코드베이스를 제공합니다. DiagramBank는 https://huggingface.co/datasets/zhangt20/DiagramBank에서 공개되었으며 코드는 https://github.com/csml-rpi/DiagramBank에서 확인할 수 있습니다.

English

Recent advances in autonomous ``AI scientist'' systems have demonstrated the ability to automatically write scientific manuscripts and codes with execution. However, producing a publication-grade scientific diagram (e.g., teaser figure) is still a major bottleneck in the ``end-to-end'' paper generation process. For example, a teaser figure acts as a strategic visual interface and serves a different purpose than derivative data plots. It demands conceptual synthesis and planning to translate complex logic workflow into a compelling graphic that guides intuition and sparks curiosity. Existing AI scientist systems usually omit this component or fall back to an inferior alternative. To bridge this gap, we present DiagramBank, a large-scale dataset consisting of 89,422 schematic diagrams curated from existing top-tier scientific publications, designed for multimodal retrieval and exemplar-driven scientific figure generation. DiagramBank is developed through our automated curation pipeline that extracts figures and corresponding in-text references, and uses a CLIP-based filter to differentiate schematic diagrams from standard plots or natural images. Each instance is paired with rich context from abstract, caption, to figure-reference pairs, enabling information retrieval under different query granularities. We release DiagramBank in a ready-to-index format and provide a retrieval-augmented generation codebase to demonstrate exemplar-conditioned synthesis of teaser figures. DiagramBank is publicly available at https://huggingface.co/datasets/zhangt20/DiagramBank with code at https://github.com/csml-rpi/DiagramBank.