Volg de Stroom: Fijnmazige Flowchart Toekenning met Neurosymbolische Agenten

Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents

June 2, 2025

Auteurs: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Vivek Gupta, Dinesh Manocha

cs.AI

Samenvatting

Stroomdiagrammen zijn een cruciaal hulpmiddel voor het visualiseren van besluitvormingsprocessen. Hun niet-lineaire structuur en complexe visueel-tekstuele relaties maken het echter uitdagend om ze te interpreteren met behulp van LLM's, aangezien vision-language modellen vaak niet-bestaande verbindingen en beslispaden hallucineren bij het analyseren van deze diagrammen. Dit leidt tot een verminderde betrouwbaarheid van geautomatiseerde verwerking van stroomdiagrammen in kritieke domeinen zoals logistiek, gezondheidszorg en techniek. We introduceren de taak van Fine-grained Flowchart Attribution, die specifieke componenten traceert die een stroomdiagram refererend LLM-antwoord onderbouwen. Flowchart Attribution zorgt voor de verifieerbaarheid van LLM-voorspellingen en verbetert de uitlegbaarheid door gegenereerde antwoorden te koppelen aan de structuur van het stroomdiagram. We stellen FlowPathAgent voor, een neurosymbolisch agent dat fijnmazige post hoc attributie uitvoert via grafisch gebaseerd redeneren. Het segment eerst het stroomdiagram, converteert het vervolgens naar een gestructureerde symbolische grafiek, en gebruikt dan een agentische aanpak om dynamisch te interageren met de grafiek, om attributiepaden te genereren. Daarnaast presenteren we FlowExplainBench, een nieuwe benchmark voor het evalueren van stroomdiagramattributies over diverse stijlen, domeinen en vraagtypen. Experimentele resultaten tonen aan dat FlowPathAgent visuele hallucinaties in LLM-antwoorden over stroomdiagram QA vermindert, en sterke baseline-methoden met 10-14% overtreft op onze voorgestelde FlowExplainBench dataset.

English

Flowcharts are a critical tool for visualizing decision-making processes. However, their non-linear structure and complex visual-textual relationships make it challenging to interpret them using LLMs, as vision-language models frequently hallucinate nonexistent connections and decision paths when analyzing these diagrams. This leads to compromised reliability for automated flowchart processing in critical domains such as logistics, health, and engineering. We introduce the task of Fine-grained Flowchart Attribution, which traces specific components grounding a flowchart referring LLM response. Flowchart Attribution ensures the verifiability of LLM predictions and improves explainability by linking generated responses to the flowchart's structure. We propose FlowPathAgent, a neurosymbolic agent that performs fine-grained post hoc attribution through graph-based reasoning. It first segments the flowchart, then converts it into a structured symbolic graph, and then employs an agentic approach to dynamically interact with the graph, to generate attribution paths. Additionally, we present FlowExplainBench, a novel benchmark for evaluating flowchart attributions across diverse styles, domains, and question types. Experimental results show that FlowPathAgent mitigates visual hallucinations in LLM answers over flowchart QA, outperforming strong baselines by 10-14% on our proposed FlowExplainBench dataset.