ChartNet: Un Conjunto de Datos Multimodal a Gran Escala y de Alta Calidad para una Comprensión Robusta de Gráficos
ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding
March 28, 2026
Autores: Jovana Kondic, Pengyuan Li, Dhiraj Joshi, Isaac Sanchez, Ben Wiesel, Shafiq Abedin, Amit Alfassy, Eli Schwartz, Daniel Caraballo, Yagmur Gizem Cinar, Florian Scheidegger, Steven I. Ross, Daniel Karl I. Weidele, Hang Hua, Ekaterina Arutyunova, Roei Herzig, Zexue He, Zihan Wang, Xinyue Yu, Yunfei Zhao, Sicong Jiang, Minghao Liu, Qunshu Lin, Peter Staar, Luis Lastras, Aude Oliva, Rogerio Feris
cs.AI
Resumen
La comprensión de gráficos requiere que los modelos razonen conjuntamente sobre patrones visuales geométricos, datos numéricos estructurados y lenguaje natural, una capacidad en la que los modelos actuales de visión y lenguaje (VLMs) siguen siendo limitados. Presentamos ChartNet, un conjunto de datos multimodal de alta calidad y a escala millonaria diseñado para avanzar en la interpretación y el razonamiento de gráficos. ChartNet aprovecha una novedosa canalización de síntesis guiada por código para generar 1.5 millones de muestras de gráficos diversos que abarcan 24 tipos de gráficos y 6 bibliotecas de trazado. Cada muestra consta de cinco componentes alineados: código de trazado, imagen del gráfico renderizado, tabla de datos, resumen en lenguaje natural y preguntas y respuestas con razonamiento, proporcionando una alineación multimodal granular. Para capturar el espectro completo de la comprensión de gráficos, ChartNet incluye además subconjuntos especializados que abarcan datos anotados por humanos, datos del mundo real, seguridad y fundamentación. Además, una rigurosa canalización de filtrado de calidad garantiza la fidelidad visual, la precisión semántica y la diversidad en las representaciones de los gráficos. El ajuste fino en ChartNet mejora consistentemente los resultados en diversos puntos de referencia, demostrando su utilidad como supervisión a gran escala para modelos multimodales. Como el conjunto de datos de código abierto más grande de su tipo, ChartNet pretende apoyar el desarrollo de modelos fundacionales con capacidades robustas y generalizables para la comprensión de visualizaciones de datos. El conjunto de datos está disponible públicamente en https://huggingface.co/datasets/ibm-granite/ChartNet.
English
Understanding charts requires models to jointly reason over geometric visual patterns, structured numerical data, and natural language -- a capability where current vision-language models (VLMs) remain limited. We introduce ChartNet, a high-quality, million-scale multimodal dataset designed to advance chart interpretation and reasoning. ChartNet leverages a novel code-guided synthesis pipeline to generate 1.5 million diverse chart samples spanning 24 chart types and 6 plotting libraries. Each sample consists of five aligned components: plotting code, rendered chart image, data table, natural language summary, and question-answering with reasoning, providing fine-grained cross-modal alignment. To capture the full spectrum of chart comprehension, ChartNet additionally includes specialized subsets encompassing human annotated data, real-world data, safety, and grounding. Moreover, a rigorous quality-filtering pipeline ensures visual fidelity, semantic accuracy, and diversity across chart representations. Fine-tuning on ChartNet consistently improves results across benchmarks, demonstrating its utility as large-scale supervision for multimodal models. As the largest open-source dataset of its kind, ChartNet aims to support the development of foundation models with robust and generalizable capabilities for data visualization understanding. The dataset is publicly available at https://huggingface.co/datasets/ibm-granite/ChartNet