ChartCitor: Framework Multi-Agente per l'Attribuzione Visiva Dettagliata dei Grafici

ChartCitor: Multi-Agent Framework for Fine-Grained Chart Visual Attribution

February 3, 2025

Autori: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Abstract

I Large Language Models (LLM) possono svolgere compiti di risposta a domande su grafici ma spesso generano risposte allucinate non verificate. I metodi esistenti di attribuzione delle risposte faticano nel ancorare le risposte nei grafici di origine a causa di un contesto visivo-semantico limitato, complesse esigenze di allineamento testo-visivo e difficoltà nella previsione delle bounding box attraverso layout complessi. Presentiamo ChartCitor, un framework multi-agente che fornisce citazioni di bounding box dettagliate identificando prove di supporto all'interno delle immagini dei grafici. Il sistema coordina agenti LLM per eseguire l'estrazione da grafico a tabella, la riformulazione delle risposte, l'aumento della tabella, il recupero delle prove attraverso pre-filtraggio e ri-ranKing, e il mappaggio da tabella a grafico. ChartCitor supera i baselines esistenti tra diversi tipi di grafici. Studi qualitativi con gli utenti mostrano che ChartCitor aiuta ad aumentare la fiducia degli utenti nell'IA generativa fornendo una spiegazione migliorata per l'assistenza LLM nella QA sui grafici e consente ai professionisti di essere più produttivi.

English

Large Language Models (LLMs) can perform chart question-answering tasks but often generate unverified hallucinated responses. Existing answer attribution methods struggle to ground responses in source charts due to limited visual-semantic context, complex visual-text alignment requirements, and difficulties in bounding box prediction across complex layouts. We present ChartCitor, a multi-agent framework that provides fine-grained bounding box citations by identifying supporting evidence within chart images. The system orchestrates LLM agents to perform chart-to-table extraction, answer reformulation, table augmentation, evidence retrieval through pre-filtering and re-ranking, and table-to-chart mapping. ChartCitor outperforms existing baselines across different chart types. Qualitative user studies show that ChartCitor helps increase user trust in Generative AI by providing enhanced explainability for LLM-assisted chart QA and enables professionals to be more productive.