ChartCap: Het verminderen van hallucinaties bij dichte grafiekbeschrijvingen

ChartCap: Mitigating Hallucination of Dense Chart Captioning

August 5, 2025

Auteurs: Junyoung Lim, Jaewoo Ahn, Gunhee Kim

cs.AI

Samenvatting

Het genereren van nauwkeurige, informatieve en hallucinatievrije bijschriften voor grafieken blijft een uitdaging voor visuele taalmodelen, voornamelijk vanwege het ontbreken van grootschalige, hoogwaardige datasets van real-world grafieken. Bestaande real-world grafiekdatasets kampen echter met het probleem van het opnemen van irrelevante informatie die niet uit de grafiek kan worden afgeleid, en het onvoldoende vastleggen van structurele elementen en belangrijke inzichten. Daarom introduceren we ChartCap, een grootschalige dataset van 565K real-world grafiekafbeeldingen, gekoppeld aan typespecifieke, gedetailleerde bijschriften die irrelevante informatie uitsluiten en zowel structurele elementen als belangrijke inzichten gedetailleerd benadrukken. Om ChartCap te bouwen, hebben we een pijplijn met vier fasen ontworpen die bijschriften genereert met alleen de waarneembare gegevens uit de grafiek, en gebruiken we een op cyclische consistentie gebaseerde menselijke verificatie, die de kwaliteitscontrole versnelt zonder de nauwkeurigheid op te offeren. Daarnaast stellen we een nieuwe metriek voor, de Visual Consistency Score, die de kwaliteit van bijschriften evalueert door de gelijkenis te meten tussen de grafiek die opnieuw wordt gegenereerd uit een bijschrift en de oorspronkelijke grafiek, onafhankelijk van referentiebijschriften. Uitgebreide experimenten bevestigen dat modellen die zijn afgestemd op ChartCap consistent nauwkeurigere en informatievere bijschriften genereren met minder hallucinaties, en daarbij zowel open-source als propriëtaire modellen, en zelfs door mensen geannoteerde bijschriften, overtreffen.

English

Generating accurate, informative, and hallucination-free captions for charts remains challenging for vision language models, primarily due to the lack of large-scale, high-quality datasets of real-world charts. However, existing real-world chart datasets suffer from the inclusion of extraneous information that cannot be inferred from the chart and failure to sufficiently capture structural elements and key insights. Therefore, we introduce ChartCap, a large-scale dataset of 565K real-world chart images paired with type-specific, dense captions that exclude extraneous information and highlight both structural elements and key insights in detail. To build ChartCap, we design a four-stage pipeline that generates captions using only the discernible data from the chart and employ a cycle consistency-based human verification, which accelerates quality control without sacrificing accuracy. Additionally, we propose a novel metric, the Visual Consistency Score, which evaluates caption quality by measuring the similarity between the chart regenerated from a caption and the original chart, independent of reference captions. Extensive experiments confirms that models fine-tuned on ChartCap consistently generate more accurate and informative captions with reduced hallucinations, surpassing both open-source and proprietary models and even human-annotated captions.