Siga o Fluxo: Atribuição de Fluxograma em Detalhes com Agentes Neuro-simbólicos

Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents

June 2, 2025

Autores: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Vivek Gupta, Dinesh Manocha

cs.AI

Resumo

Fluxogramas são uma ferramenta essencial para visualizar processos de tomada de decisão. No entanto, sua estrutura não linear e as complexas relações visuais-textuais tornam desafiador interpretá-los usando LLMs (Large Language Models), já que modelos de visão e linguagem frequentemente alucinam conexões e caminhos de decisão inexistentes ao analisar esses diagramas. Isso compromete a confiabilidade do processamento automatizado de fluxogramas em domínios críticos, como logística, saúde e engenharia. Introduzimos a tarefa de Atribuição de Fluxograma de Granularidade Fina, que rastreia componentes específicos que fundamentam uma resposta de LLM referente a um fluxograma. A Atribuição de Fluxograma garante a verificabilidade das previsões do LLM e melhora a explicabilidade ao vincular as respostas geradas à estrutura do fluxograma. Propomos o FlowPathAgent, um agente neurosimbólico que realiza atribuição de granularidade fina pós-hoc por meio de raciocínio baseado em grafos. Ele primeiro segmenta o fluxograma, converte-o em um grafo simbólico estruturado e, em seguida, emprega uma abordagem agentiva para interagir dinamicamente com o grafo, gerando caminhos de atribuição. Além disso, apresentamos o FlowExplainBench, um novo benchmark para avaliar atribuições de fluxogramas em diversos estilos, domínios e tipos de perguntas. Resultados experimentais mostram que o FlowPathAgent mitiga alucinações visuais nas respostas de LLMs em tarefas de Q&A sobre fluxogramas, superando baselines fortes em 10-14% em nosso conjunto de dados FlowExplainBench proposto.

English

Flowcharts are a critical tool for visualizing decision-making processes. However, their non-linear structure and complex visual-textual relationships make it challenging to interpret them using LLMs, as vision-language models frequently hallucinate nonexistent connections and decision paths when analyzing these diagrams. This leads to compromised reliability for automated flowchart processing in critical domains such as logistics, health, and engineering. We introduce the task of Fine-grained Flowchart Attribution, which traces specific components grounding a flowchart referring LLM response. Flowchart Attribution ensures the verifiability of LLM predictions and improves explainability by linking generated responses to the flowchart's structure. We propose FlowPathAgent, a neurosymbolic agent that performs fine-grained post hoc attribution through graph-based reasoning. It first segments the flowchart, then converts it into a structured symbolic graph, and then employs an agentic approach to dynamically interact with the graph, to generate attribution paths. Additionally, we present FlowExplainBench, a novel benchmark for evaluating flowchart attributions across diverse styles, domains, and question types. Experimental results show that FlowPathAgent mitigates visual hallucinations in LLM answers over flowchart QA, outperforming strong baselines by 10-14% on our proposed FlowExplainBench dataset.