ChartCap: Reduzierung von Halluzinationen bei der dichten Diagrammbeschreibung

ChartCap: Mitigating Hallucination of Dense Chart Captioning

August 5, 2025

papers.authors: Junyoung Lim, Jaewoo Ahn, Gunhee Kim

cs.AI

papers.abstract

Das Erstellen präziser, informativer und halluzinationsfreier Beschriftungen für Diagramme bleibt für visuelle Sprachmodelle eine Herausforderung, hauptsächlich aufgrund des Mangels an groß angelegten, hochwertigen Datensätzen mit realen Diagrammen. Bestehende Datensätze realer Diagramme leiden jedoch unter der Einbeziehung von irrelevanten Informationen, die nicht aus dem Diagramm abgeleitet werden können, sowie unter der unzureichenden Erfassung struktureller Elemente und zentraler Erkenntnisse. Daher stellen wir ChartCap vor, einen groß angelegten Datensatz mit 565.000 realen Diagrammbildern, die mit typspezifischen, detaillierten Beschriftungen versehen sind, die irrelevante Informationen ausschließen und sowohl strukturelle Elemente als auch zentrale Erkenntnisse detailliert hervorheben. Um ChartCap zu erstellen, haben wir einen vierstufigen Prozess entwickelt, der Beschriftungen ausschließlich auf der Grundlage der erkennbaren Daten aus dem Diagramm generiert, und eine zyklusbasierte menschliche Überprüfung eingesetzt, die die Qualitätskontrolle beschleunigt, ohne die Genauigkeit zu beeinträchtigen. Zusätzlich schlagen wir eine neue Metrik vor, den Visual Consistency Score, der die Qualität von Beschriftungen bewertet, indem er die Ähnlichkeit zwischen dem aus einer Beschriftung rekonstruierten Diagramm und dem Originaldiagramm misst, unabhängig von Referenzbeschriftungen. Umfangreiche Experimente bestätigen, dass Modelle, die auf ChartCap feinabgestimmt wurden, durchweg präzisere und informativere Beschriftungen mit reduzierten Halluzinationen generieren und sowohl Open-Source- als auch proprietäre Modelle sowie sogar von Menschen annotierte Beschriftungen übertreffen.

English

Generating accurate, informative, and hallucination-free captions for charts remains challenging for vision language models, primarily due to the lack of large-scale, high-quality datasets of real-world charts. However, existing real-world chart datasets suffer from the inclusion of extraneous information that cannot be inferred from the chart and failure to sufficiently capture structural elements and key insights. Therefore, we introduce ChartCap, a large-scale dataset of 565K real-world chart images paired with type-specific, dense captions that exclude extraneous information and highlight both structural elements and key insights in detail. To build ChartCap, we design a four-stage pipeline that generates captions using only the discernible data from the chart and employ a cycle consistency-based human verification, which accelerates quality control without sacrificing accuracy. Additionally, we propose a novel metric, the Visual Consistency Score, which evaluates caption quality by measuring the similarity between the chart regenerated from a caption and the original chart, independent of reference captions. Extensive experiments confirms that models fine-tuned on ChartCap consistently generate more accurate and informative captions with reduced hallucinations, surpassing both open-source and proprietary models and even human-annotated captions.