Folgen Sie dem Fluss: Feinmaschige Flussdiagramm-Zuordnung mit Neurosymbolischen Agenten

Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents

June 2, 2025

Autoren: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Vivek Gupta, Dinesh Manocha

cs.AI

Zusammenfassung

Flussdiagramme sind ein entscheidendes Werkzeug zur Visualisierung von Entscheidungsprozessen. Ihre nicht-lineare Struktur und die komplexen visuell-textuellen Beziehungen machen es jedoch schwierig, sie mit LLMs (Large Language Models) zu interpretieren, da Vision-Sprach-Modelle häufig nicht existierende Verbindungen und Entscheidungspfade halluzinieren, wenn sie diese Diagramme analysieren. Dies beeinträchtigt die Zuverlässigkeit der automatisierten Flussdiagrammverarbeitung in kritischen Bereichen wie Logistik, Gesundheit und Ingenieurwesen. Wir führen die Aufgabe der Fein-granularen Flussdiagramm-Attribution ein, die spezifische Komponenten nachverfolgt, die eine auf ein Flussdiagramm bezogene LLM-Antwort begründen. Flussdiagramm-Attribution gewährleistet die Überprüfbarkeit von LLM-Vorhersagen und verbessert die Erklärbarkeit, indem generierte Antworten mit der Struktur des Flussdiagramms verknüpft werden. Wir stellen FlowPathAgent vor, einen neurosymbolischen Agenten, der eine fein-granulare post-hoc-Attribution durch graphenbasierte Schlussfolgerung durchführt. Er segmentiert zunächst das Flussdiagramm, wandelt es dann in einen strukturierten symbolischen Graphen um und verwendet einen agentenbasierten Ansatz, um dynamisch mit dem Graphen zu interagieren und Attributionspfade zu generieren. Zusätzlich präsentieren wir FlowExplainBench, einen neuartigen Benchmark zur Bewertung von Flussdiagramm-Attributionen über verschiedene Stile, Domänen und Fragentypen hinweg. Experimentelle Ergebnisse zeigen, dass FlowPathAgent visuelle Halluzinationen in LLM-Antworten auf Flussdiagramm-Fragen reduziert und starke Baseline-Modelle auf unserem vorgeschlagenen FlowExplainBench-Datensatz um 10–14 % übertrifft.

English

Flowcharts are a critical tool for visualizing decision-making processes. However, their non-linear structure and complex visual-textual relationships make it challenging to interpret them using LLMs, as vision-language models frequently hallucinate nonexistent connections and decision paths when analyzing these diagrams. This leads to compromised reliability for automated flowchart processing in critical domains such as logistics, health, and engineering. We introduce the task of Fine-grained Flowchart Attribution, which traces specific components grounding a flowchart referring LLM response. Flowchart Attribution ensures the verifiability of LLM predictions and improves explainability by linking generated responses to the flowchart's structure. We propose FlowPathAgent, a neurosymbolic agent that performs fine-grained post hoc attribution through graph-based reasoning. It first segments the flowchart, then converts it into a structured symbolic graph, and then employs an agentic approach to dynamically interact with the graph, to generate attribution paths. Additionally, we present FlowExplainBench, a novel benchmark for evaluating flowchart attributions across diverse styles, domains, and question types. Experimental results show that FlowPathAgent mitigates visual hallucinations in LLM answers over flowchart QA, outperforming strong baselines by 10-14% on our proposed FlowExplainBench dataset.