Segui il Flusso: Attribuzione Fine-Grained di Diagrammi di Flusso con Agenti Neurosimbolici

Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents

June 2, 2025

Autori: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Vivek Gupta, Dinesh Manocha

cs.AI

Abstract

I diagrammi di flusso sono uno strumento fondamentale per visualizzare i processi decisionali. Tuttavia, la loro struttura non lineare e le complesse relazioni visivo-testuali rendono difficile la loro interpretazione mediante LLM, poiché i modelli visione-linguaggio spesso allucinano connessioni e percorsi decisionali inesistenti durante l'analisi di questi diagrammi. Ciò compromette l'affidabilità dell'elaborazione automatizzata dei diagrammi di flusso in ambiti critici come la logistica, la sanità e l'ingegneria. Introduciamo il compito di Attribuzione Fine-Grained dei Diagrammi di Flusso, che traccia specifici componenti che fondano una risposta LLM riferita al diagramma di flusso. L'Attribuzione dei Diagrammi di Flusso garantisce la verificabilità delle previsioni LLM e migliora l'interpretabilità collegando le risposte generate alla struttura del diagramma. Proponiamo FlowPathAgent, un agente neurosimbolico che esegue un'attribuzione fine-grained post hoc attraverso un ragionamento basato su grafi. Prima segmenta il diagramma di flusso, poi lo converte in un grafo simbolico strutturato, e infine impiega un approccio agentico per interagire dinamicamente con il grafo, generando percorsi di attribuzione. Inoltre, presentiamo FlowExplainBench, un nuovo benchmark per valutare le attribuzioni dei diagrammi di flusso in diversi stili, domini e tipi di domande. I risultati sperimentali mostrano che FlowPathAgent mitiga le allucinazioni visive nelle risposte LLM su QA di diagrammi di flusso, superando i forti baseline del 10-14% sul nostro dataset FlowExplainBench proposto.

English

Flowcharts are a critical tool for visualizing decision-making processes. However, their non-linear structure and complex visual-textual relationships make it challenging to interpret them using LLMs, as vision-language models frequently hallucinate nonexistent connections and decision paths when analyzing these diagrams. This leads to compromised reliability for automated flowchart processing in critical domains such as logistics, health, and engineering. We introduce the task of Fine-grained Flowchart Attribution, which traces specific components grounding a flowchart referring LLM response. Flowchart Attribution ensures the verifiability of LLM predictions and improves explainability by linking generated responses to the flowchart's structure. We propose FlowPathAgent, a neurosymbolic agent that performs fine-grained post hoc attribution through graph-based reasoning. It first segments the flowchart, then converts it into a structured symbolic graph, and then employs an agentic approach to dynamically interact with the graph, to generate attribution paths. Additionally, we present FlowExplainBench, a novel benchmark for evaluating flowchart attributions across diverse styles, domains, and question types. Experimental results show that FlowPathAgent mitigates visual hallucinations in LLM answers over flowchart QA, outperforming strong baselines by 10-14% on our proposed FlowExplainBench dataset.