ChartLens : Attribution visuelle fine dans les graphiques

ChartLens: Fine-grained Visual Attribution in Charts

May 25, 2025

Auteurs: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Dinesh Manocha

cs.AI

Résumé

Les capacités croissantes des modèles de langage multimodaux à grande échelle (MLLMs) ont fait progresser des tâches telles que la compréhension des graphiques. Cependant, ces modèles souffrent souvent d'hallucinations, où les séquences de texte générées entrent en conflit avec les données visuelles fournies. Pour remédier à cela, nous introduisons l'Attribution Visuelle Post-Hoc pour les Graphiques, qui identifie des éléments granulaires du graphique validant une réponse associée au graphique. Nous proposons ChartLens, un nouvel algorithme d'attribution de graphiques qui utilise des techniques basées sur la segmentation pour identifier les objets du graphique et emploie un ensemble de marques pour inciter les MLLMs à effectuer une attribution visuelle granulaire. De plus, nous présentons ChartVA-Eval, un benchmark comprenant des graphiques synthétiques et réels issus de divers domaines tels que la finance, les politiques publiques et l'économie, avec des annotations d'attribution granulaires. Nos évaluations montrent que ChartLens améliore les attributions granulaires de 26 à 66 %.

English

The growing capabilities of multimodal large language models (MLLMs) have advanced tasks like chart understanding. However, these models often suffer from hallucinations, where generated text sequences conflict with the provided visual data. To address this, we introduce Post-Hoc Visual Attribution for Charts, which identifies fine-grained chart elements that validate a given chart-associated response. We propose ChartLens, a novel chart attribution algorithm that uses segmentation-based techniques to identify chart objects and employs set-of-marks prompting with MLLMs for fine-grained visual attribution. Additionally, we present ChartVA-Eval, a benchmark with synthetic and real-world charts from diverse domains like finance, policy, and economics, featuring fine-grained attribution annotations. Our evaluations show that ChartLens improves fine-grained attributions by 26-66%.