ChartCap: Mitigando Alucinações na Geração de Legendas para Gráficos Densos

ChartCap: Mitigating Hallucination of Dense Chart Captioning

August 5, 2025

Autores: Junyoung Lim, Jaewoo Ahn, Gunhee Kim

cs.AI

Resumo

Gerar legendas precisas, informativas e livres de alucinações para gráficos continua sendo um desafio para modelos de linguagem visual, principalmente devido à falta de conjuntos de dados em grande escala e de alta qualidade de gráficos do mundo real. No entanto, os conjuntos de dados existentes de gráficos reais sofrem com a inclusão de informações irrelevantes que não podem ser inferidas a partir do gráfico e pela falha em capturar adequadamente os elementos estruturais e os principais insights. Portanto, apresentamos o ChartCap, um conjunto de dados em grande escala composto por 565 mil imagens de gráficos reais, emparelhadas com legendas densas específicas para cada tipo, que excluem informações irrelevantes e destacam tanto os elementos estruturais quanto os principais insights em detalhes. Para construir o ChartCap, projetamos um pipeline de quatro estágios que gera legendas utilizando apenas os dados discerníveis do gráfico e empregamos uma verificação humana baseada em consistência cíclica, o que acelera o controle de qualidade sem sacrificar a precisão. Além disso, propomos uma nova métrica, o Visual Consistency Score (Pontuação de Consistência Visual), que avalia a qualidade da legenda medindo a similaridade entre o gráfico regenerado a partir de uma legenda e o gráfico original, independentemente de legendas de referência. Experimentos extensivos confirmam que modelos ajustados no ChartCap geram consistentemente legendas mais precisas e informativas, com alucinações reduzidas, superando tanto modelos de código aberto quanto proprietários, e até mesmo legendas anotadas por humanos.

English

Generating accurate, informative, and hallucination-free captions for charts remains challenging for vision language models, primarily due to the lack of large-scale, high-quality datasets of real-world charts. However, existing real-world chart datasets suffer from the inclusion of extraneous information that cannot be inferred from the chart and failure to sufficiently capture structural elements and key insights. Therefore, we introduce ChartCap, a large-scale dataset of 565K real-world chart images paired with type-specific, dense captions that exclude extraneous information and highlight both structural elements and key insights in detail. To build ChartCap, we design a four-stage pipeline that generates captions using only the discernible data from the chart and employ a cycle consistency-based human verification, which accelerates quality control without sacrificing accuracy. Additionally, we propose a novel metric, the Visual Consistency Score, which evaluates caption quality by measuring the similarity between the chart regenerated from a caption and the original chart, independent of reference captions. Extensive experiments confirms that models fine-tuned on ChartCap consistently generate more accurate and informative captions with reduced hallucinations, surpassing both open-source and proprietary models and even human-annotated captions.