ChartCap : Atténuation des hallucinations dans la génération de légendes pour les graphiques denses

ChartCap: Mitigating Hallucination of Dense Chart Captioning

August 5, 2025

papers.authors: Junyoung Lim, Jaewoo Ahn, Gunhee Kim

cs.AI

papers.abstract

La génération de légendes précises, informatives et exemptes d’hallucinations pour les graphiques reste un défi pour les modèles de langage visuel, principalement en raison du manque de jeux de données à grande échelle et de haute qualité sur les graphiques du monde réel. Cependant, les jeux de données existants sur les graphiques réels souffrent de l’inclusion d’informations superflues qui ne peuvent pas être déduites du graphique, ainsi que de l’incapacité à capturer suffisamment les éléments structurels et les insights clés. Par conséquent, nous introduisons ChartCap, un jeu de données à grande échelle comprenant 565 000 images de graphiques réels associées à des légendes denses spécifiques au type, excluant les informations superflues et mettant en avant à la fois les éléments structurels et les insights clés de manière détaillée. Pour construire ChartCap, nous avons conçu un pipeline en quatre étapes qui génère des légendes en utilisant uniquement les données discernables du graphique, et nous avons mis en place une vérification humaine basée sur la cohérence cyclique, ce qui accélère le contrôle qualité sans sacrifier la précision. De plus, nous proposons une nouvelle métrique, le Score de Cohérence Visuelle, qui évalue la qualité des légendes en mesurant la similarité entre le graphique régénéré à partir d’une légende et le graphique original, indépendamment des légendes de référence. Des expériences approfondies confirment que les modèles affinés sur ChartCap génèrent systématiquement des légendes plus précises et informatives avec moins d’hallucinations, surpassant à la fois les modèles open-source et propriétaires, ainsi que les légendes annotées par des humains.

English

Generating accurate, informative, and hallucination-free captions for charts remains challenging for vision language models, primarily due to the lack of large-scale, high-quality datasets of real-world charts. However, existing real-world chart datasets suffer from the inclusion of extraneous information that cannot be inferred from the chart and failure to sufficiently capture structural elements and key insights. Therefore, we introduce ChartCap, a large-scale dataset of 565K real-world chart images paired with type-specific, dense captions that exclude extraneous information and highlight both structural elements and key insights in detail. To build ChartCap, we design a four-stage pipeline that generates captions using only the discernible data from the chart and employ a cycle consistency-based human verification, which accelerates quality control without sacrificing accuracy. Additionally, we propose a novel metric, the Visual Consistency Score, which evaluates caption quality by measuring the similarity between the chart regenerated from a caption and the original chart, independent of reference captions. Extensive experiments confirms that models fine-tuned on ChartCap consistently generate more accurate and informative captions with reduced hallucinations, surpassing both open-source and proprietary models and even human-annotated captions.