ChartCap: Снижение галлюцинаций при генерации описаний плотных графиков

ChartCap: Mitigating Hallucination of Dense Chart Captioning

August 5, 2025

Авторы: Junyoung Lim, Jaewoo Ahn, Gunhee Kim

cs.AI

Аннотация

Создание точных, информативных и свободных от галлюцинаций подписей к графикам остается сложной задачей для моделей обработки визуальных и языковых данных, главным образом из-за отсутствия крупномасштабных, высококачественных наборов данных, содержащих реальные графики. Однако существующие наборы данных с реальными графиками страдают от включения избыточной информации, которую невозможно вывести из графика, а также от недостаточного отражения структурных элементов и ключевых выводов. В связи с этим мы представляем ChartCap — крупномасштабный набор данных, содержащий 565 тысяч изображений реальных графиков, снабженных типозависимыми, детализированными подписями, которые исключают избыточную информацию и подробно выделяют как структурные элементы, так и ключевые выводы. Для создания ChartCap мы разработали четырехэтапный процесс, который генерирует подписи, используя только доступные данные из графика, и применяем проверку человеком на основе цикличной согласованности, что ускоряет контроль качества без ущерба для точности. Кроме того, мы предлагаем новый метрический показатель — Визуальный индекс согласованности, который оценивает качество подписи, измеряя сходство между графиком, воссозданным из подписи, и исходным графиком, независимо от эталонных подписей. Многочисленные эксперименты подтверждают, что модели, дообученные на ChartCap, стабильно генерируют более точные и информативные подписи с меньшим количеством галлюцинаций, превосходя как открытые, так и проприетарные модели, а также даже подписи, созданные человеком.

English

Generating accurate, informative, and hallucination-free captions for charts remains challenging for vision language models, primarily due to the lack of large-scale, high-quality datasets of real-world charts. However, existing real-world chart datasets suffer from the inclusion of extraneous information that cannot be inferred from the chart and failure to sufficiently capture structural elements and key insights. Therefore, we introduce ChartCap, a large-scale dataset of 565K real-world chart images paired with type-specific, dense captions that exclude extraneous information and highlight both structural elements and key insights in detail. To build ChartCap, we design a four-stage pipeline that generates captions using only the discernible data from the chart and employ a cycle consistency-based human verification, which accelerates quality control without sacrificing accuracy. Additionally, we propose a novel metric, the Visual Consistency Score, which evaluates caption quality by measuring the similarity between the chart regenerated from a caption and the original chart, independent of reference captions. Extensive experiments confirms that models fine-tuned on ChartCap consistently generate more accurate and informative captions with reduced hallucinations, surpassing both open-source and proprietary models and even human-annotated captions.