ChartCitor: Multi-Agent-Framework für feingranulare Chart-Visualisierungsattribution

ChartCitor: Multi-Agent Framework for Fine-Grained Chart Visual Attribution

February 3, 2025

Autoren: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) können Chart-Frage-Antwort-Aufgaben ausführen, generieren jedoch häufig nicht überprüfte halluzinierte Antworten. Bestehende Antwortattributionsmethoden haben Schwierigkeiten, Antworten in Quellgrafiken zu verankern, aufgrund begrenzter visuell-semantischer Kontexte, komplexer visuell-textueller Ausrichtungsanforderungen und Schwierigkeiten bei der Begrenzungsfeldvorhersage über komplexe Layouts. Wir stellen ChartCitor vor, ein Multi-Agenten-Framework, das feinkörnige Begrenzungsfeldzitate bereitstellt, indem es unterstützende Beweise innerhalb von Diagrammbildern identifiziert. Das System orchestriert LLM-Agenten, um Diagramm-zu-Tabelle-Extraktion, Antwortneuformulierung, Tabellenerweiterung, Beweisrückgewinnung durch Vorfilterung und Neu-Ranking sowie Tabellen-zu-Diagramm-Zuordnung durchzuführen. ChartCitor übertrifft bestehende Baselines bei verschiedenen Diagrammtypen. Qualitative Benutzerstudien zeigen, dass ChartCitor dazu beiträgt, das Nutzervertrauen in Generative KI zu steigern, indem es eine verbesserte Erklärbarkeit für LLM-unterstützte Diagramm-F&A bietet und Fachleuten ermöglicht, produktiver zu sein.

English

Large Language Models (LLMs) can perform chart question-answering tasks but often generate unverified hallucinated responses. Existing answer attribution methods struggle to ground responses in source charts due to limited visual-semantic context, complex visual-text alignment requirements, and difficulties in bounding box prediction across complex layouts. We present ChartCitor, a multi-agent framework that provides fine-grained bounding box citations by identifying supporting evidence within chart images. The system orchestrates LLM agents to perform chart-to-table extraction, answer reformulation, table augmentation, evidence retrieval through pre-filtering and re-ranking, and table-to-chart mapping. ChartCitor outperforms existing baselines across different chart types. Qualitative user studies show that ChartCitor helps increase user trust in Generative AI by providing enhanced explainability for LLM-assisted chart QA and enables professionals to be more productive.