ChartCitor: Multi-Agent Framework voor Gedetailleerde Grafiek Visual Attribution

ChartCitor: Multi-Agent Framework for Fine-Grained Chart Visual Attribution

February 3, 2025

Auteurs: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) kunnen complexe vraag-antwoordtaken uitvoeren, maar genereren vaak ongeverifieerde gehallucineerde antwoorden. Bestaande methoden voor antwoordtoewijzing hebben moeite om antwoorden te verankeren in brondiagrammen vanwege beperkte visueel-semantische context, complexe visueel-tekstuele uitlijningsvereisten en moeilijkheden bij het voorspellen van begrenzingskaders over complexe lay-outs. We presenteren ChartCitor, een multi-agent framework dat gedetailleerde begrenzingskadercitaten biedt door ondersteunend bewijs te identificeren binnen diagramafbeeldingen. Het systeem coördineert LLM-agenten om diagram-naar-tabel extractie, antwoordherformulering, tabeluitbreiding, bewijsopvraging via voorfiltering en opnieuw rangschikken, en tabel-naar-diagram mapping uit te voeren. ChartCitor presteert beter dan bestaande baselines over verschillende diagramtypen. Kwalitatieve gebruikersstudies tonen aan dat ChartCitor helpt het vertrouwen van gebruikers in Generatieve AI te vergroten door verbeterde verklaringsmogelijkheden te bieden voor LLM-ondersteunde diagram QA en professionals in staat stelt productiever te zijn.

English

Large Language Models (LLMs) can perform chart question-answering tasks but often generate unverified hallucinated responses. Existing answer attribution methods struggle to ground responses in source charts due to limited visual-semantic context, complex visual-text alignment requirements, and difficulties in bounding box prediction across complex layouts. We present ChartCitor, a multi-agent framework that provides fine-grained bounding box citations by identifying supporting evidence within chart images. The system orchestrates LLM agents to perform chart-to-table extraction, answer reformulation, table augmentation, evidence retrieval through pre-filtering and re-ranking, and table-to-chart mapping. ChartCitor outperforms existing baselines across different chart types. Qualitative user studies show that ChartCitor helps increase user trust in Generative AI by providing enhanced explainability for LLM-assisted chart QA and enables professionals to be more productive.