ChartLens: Fein granulare visuelle Attribuierung in Diagrammen

ChartLens: Fine-grained Visual Attribution in Charts

May 25, 2025

Autoren: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Dinesh Manocha

cs.AI

Zusammenfassung

Die zunehmenden Fähigkeiten multimodaler großer Sprachmodelle (MLLMs) haben Aufgaben wie das Verständnis von Diagrammen vorangetrieben. Allerdings leiden diese Modelle oft unter Halluzinationen, bei denen generierte Textsequenzen im Widerspruch zu den bereitgestellten visuellen Daten stehen. Um dies zu adressieren, führen wir Post-Hoc Visual Attribution for Charts ein, das feinkörnige Diagrammelemente identifiziert, die eine gegebene diagrammbezogene Antwort validieren. Wir schlagen ChartLens vor, einen neuartigen Diagramm-Zuordnungsalgorithmus, der segmentierungsbasierte Techniken verwendet, um Diagrammobjekte zu identifizieren, und set-of-marks-Prompting mit MLLMs für feinkörnige visuelle Zuordnung einsetzt. Zusätzlich präsentieren wir ChartVA-Eval, ein Benchmark mit synthetischen und realen Diagrammen aus verschiedenen Bereichen wie Finanzen, Politik und Wirtschaft, das feinkörnige Zuordnungsannotationen enthält. Unsere Auswertungen zeigen, dass ChartLens die feinkörnigen Zuordnungen um 26-66% verbessert.

English

The growing capabilities of multimodal large language models (MLLMs) have advanced tasks like chart understanding. However, these models often suffer from hallucinations, where generated text sequences conflict with the provided visual data. To address this, we introduce Post-Hoc Visual Attribution for Charts, which identifies fine-grained chart elements that validate a given chart-associated response. We propose ChartLens, a novel chart attribution algorithm that uses segmentation-based techniques to identify chart objects and employs set-of-marks prompting with MLLMs for fine-grained visual attribution. Additionally, we present ChartVA-Eval, a benchmark with synthetic and real-world charts from diverse domains like finance, policy, and economics, featuring fine-grained attribution annotations. Our evaluations show that ChartLens improves fine-grained attributions by 26-66%.