ChartCitor: Estrutura Multiagente para Atribuição Visual Detalhada de Gráficos

ChartCitor: Multi-Agent Framework for Fine-Grained Chart Visual Attribution

February 3, 2025

Autores: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Resumo

Grandes Modelos de Linguagem (LLMs) podem realizar tarefas de questionamento de gráficos, mas frequentemente geram respostas alucinadas não verificadas. Métodos de atribuição de respostas existentes têm dificuldade em fundamentar as respostas nos gráficos de origem devido ao contexto visual-semântico limitado, requisitos complexos de alinhamento visual-texto e dificuldades na previsão de caixas delimitadoras em layouts complexos. Apresentamos o ChartCitor, um framework multiagente que fornece citações de caixas delimitadoras detalhadas, identificando evidências de suporte dentro de imagens de gráficos. O sistema orquestra agentes LLM para realizar extração de gráfico-para-tabela, reformulação de respostas, aumento de tabelas, recuperação de evidências por meio de pré-filtragem e reclassificação, e mapeamento de tabela-para-gráfico. O ChartCitor supera as linhas de base existentes em diferentes tipos de gráficos. Estudos qualitativos com usuários mostram que o ChartCitor ajuda a aumentar a confiança do usuário em IA Generativa, fornecendo uma explicabilidade aprimorada para questionamento de gráficos assistido por LLM e permite que profissionais sejam mais produtivos.

English

Large Language Models (LLMs) can perform chart question-answering tasks but often generate unverified hallucinated responses. Existing answer attribution methods struggle to ground responses in source charts due to limited visual-semantic context, complex visual-text alignment requirements, and difficulties in bounding box prediction across complex layouts. We present ChartCitor, a multi-agent framework that provides fine-grained bounding box citations by identifying supporting evidence within chart images. The system orchestrates LLM agents to perform chart-to-table extraction, answer reformulation, table augmentation, evidence retrieval through pre-filtering and re-ranking, and table-to-chart mapping. ChartCitor outperforms existing baselines across different chart types. Qualitative user studies show that ChartCitor helps increase user trust in Generative AI by providing enhanced explainability for LLM-assisted chart QA and enables professionals to be more productive.