DiagramBank: un ampio dataset di esempi di progettazione di diagrammi con metadati di articoli per la generazione aumentata tramite recupero
DiagramBank: A Large-scale Dataset of Diagram Design Exemplars with Paper Metadata for Retrieval-Augmented Generation
February 28, 2026
Autori: Tingwen Zhang, Ling Yue, Zhen Xu, Shaowu Pan
cs.AI
Abstract
I recenti progressi nei sistemi autonomi di "scienziato IA" hanno dimostrato la capacità di scrivere automaticamente manoscritti scientifici e codici eseguibili. Tuttavia, la produzione di un diagramma scientifico di livello pubblicabile (ad esempio, una figura introduttiva o "teaser") rimane un collo di bottiglia principale nel processo di generazione "end-to-end" di un articolo. Ad esempio, una figura teaser funge da interfaccia visiva strategica e svolge uno scopo diverso rispetto ai grafici derivati dai dati. Richiede una sintesi concettuale e una pianificazione per tradurre un flusso di lavoro logico complesso in una grafica avvincente che guidi l'intuizione e susciti curiosità. I sistemi esistenti di scienziato IA di solito omettono questo componente o ricadono su un'alternativa inferiore.
Per colmare questa lacuna, presentiamo DiagramBank, un dataset su larga scala costituito da 89.422 diagrammi schematici selezionati da pubblicazioni scientifiche di alto livello esistenti, progettato per il retrieval multimodale e la generazione di figure scientifiche basata su esempi. DiagramBank è stato sviluppato attraverso la nostra pipeline di selezione automatizzata che estrae le figure e i corrispondenti riferimenti nel testo, e utilizza un filtro basato su CLIP per differenziare i diagrammi schematici dai grafici standard o dalle immagini naturali. Ogni istanza è associata a un contesto ricco, che va dall'abstract e dalla didascalia alle coppie figura-riferimento, consentendo il recupero delle informazioni con diverse granularità di query.
Rilasciamo DiagramBank in un formato pronto per l'indicizzazione e forniamo una codebase per la generazione aumentata dal retrieval per dimostrare la sintesi condizionata da esempi di figure teaser. DiagramBank è pubblicamente disponibile all'indirizzo https://huggingface.co/datasets/zhangt20/DiagramBank con il codice all'indirizzo https://github.com/csml-rpi/DiagramBank.
English
Recent advances in autonomous ``AI scientist'' systems have demonstrated the ability to automatically write scientific manuscripts and codes with execution. However, producing a publication-grade scientific diagram (e.g., teaser figure) is still a major bottleneck in the ``end-to-end'' paper generation process. For example, a teaser figure acts as a strategic visual interface and serves a different purpose than derivative data plots. It demands conceptual synthesis and planning to translate complex logic workflow into a compelling graphic that guides intuition and sparks curiosity. Existing AI scientist systems usually omit this component or fall back to an inferior alternative. To bridge this gap, we present DiagramBank, a large-scale dataset consisting of 89,422 schematic diagrams curated from existing top-tier scientific publications, designed for multimodal retrieval and exemplar-driven scientific figure generation. DiagramBank is developed through our automated curation pipeline that extracts figures and corresponding in-text references, and uses a CLIP-based filter to differentiate schematic diagrams from standard plots or natural images. Each instance is paired with rich context from abstract, caption, to figure-reference pairs, enabling information retrieval under different query granularities. We release DiagramBank in a ready-to-index format and provide a retrieval-augmented generation codebase to demonstrate exemplar-conditioned synthesis of teaser figures. DiagramBank is publicly available at https://huggingface.co/datasets/zhangt20/DiagramBank with code at https://github.com/csml-rpi/DiagramBank.