ChartLens: Atribuição Visual de Alta Precisão em Gráficos

ChartLens: Fine-grained Visual Attribution in Charts

May 25, 2025

Autores: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Dinesh Manocha

cs.AI

Resumo

As capacidades crescentes dos modelos de linguagem multimodal de grande escala (MLLMs) têm avançado tarefas como a compreensão de gráficos. No entanto, esses modelos frequentemente sofrem com alucinações, onde sequências de texto geradas entram em conflito com os dados visuais fornecidos. Para abordar esse problema, introduzimos a Atribuição Visual Post-Hoc para Gráficos, que identifica elementos detalhados do gráfico que validam uma resposta associada ao gráfico. Propomos o ChartLens, um novo algoritmo de atribuição de gráficos que utiliza técnicas baseadas em segmentação para identificar objetos do gráfico e emprega o prompting de conjunto de marcas com MLLMs para atribuição visual detalhada. Além disso, apresentamos o ChartVA-Eval, um benchmark com gráficos sintéticos e do mundo real de diversos domínios, como finanças, políticas e economia, contendo anotações detalhadas de atribuição. Nossas avaliações mostram que o ChartLens melhora as atribuições detalhadas em 26-66%.

English

The growing capabilities of multimodal large language models (MLLMs) have advanced tasks like chart understanding. However, these models often suffer from hallucinations, where generated text sequences conflict with the provided visual data. To address this, we introduce Post-Hoc Visual Attribution for Charts, which identifies fine-grained chart elements that validate a given chart-associated response. We propose ChartLens, a novel chart attribution algorithm that uses segmentation-based techniques to identify chart objects and employs set-of-marks prompting with MLLMs for fine-grained visual attribution. Additionally, we present ChartVA-Eval, a benchmark with synthetic and real-world charts from diverse domains like finance, policy, and economics, featuring fine-grained attribution annotations. Our evaluations show that ChartLens improves fine-grained attributions by 26-66%.