ChartLens: Atribución Visual de Granularidad Fina en Gráficos

ChartLens: Fine-grained Visual Attribution in Charts

May 25, 2025

Autores: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Dinesh Manocha

cs.AI

Resumen

Las capacidades crecientes de los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) han impulsado tareas como la comprensión de gráficos. Sin embargo, estos modelos a menudo sufren de alucinaciones, donde las secuencias de texto generadas entran en conflicto con los datos visuales proporcionados. Para abordar este problema, presentamos la Atribución Visual Post-Hoc para Gráficos, que identifica elementos detallados del gráfico que validan una respuesta asociada al mismo. Proponemos ChartLens, un novedoso algoritmo de atribución de gráficos que utiliza técnicas basadas en segmentación para identificar objetos del gráfico y emplea el enfoque de "conjunto de marcas" con MLLMs para una atribución visual detallada. Además, presentamos ChartVA-Eval, un punto de referencia con gráficos sintéticos y del mundo real de diversos dominios como finanzas, políticas y economía, que incluye anotaciones detalladas de atribución. Nuestras evaluaciones muestran que ChartLens mejora las atribuciones detalladas en un 26-66%.

English

The growing capabilities of multimodal large language models (MLLMs) have advanced tasks like chart understanding. However, these models often suffer from hallucinations, where generated text sequences conflict with the provided visual data. To address this, we introduce Post-Hoc Visual Attribution for Charts, which identifies fine-grained chart elements that validate a given chart-associated response. We propose ChartLens, a novel chart attribution algorithm that uses segmentation-based techniques to identify chart objects and employs set-of-marks prompting with MLLMs for fine-grained visual attribution. Additionally, we present ChartVA-Eval, a benchmark with synthetic and real-world charts from diverse domains like finance, policy, and economics, featuring fine-grained attribution annotations. Our evaluations show that ChartLens improves fine-grained attributions by 26-66%.