フローに従え：ニューロシンボリックエージェントによる詳細なフローチャート帰属

Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents

June 2, 2025

著者: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Vivek Gupta, Dinesh Manocha

cs.AI

要旨

フローチャートは意思決定プロセスを可視化するための重要なツールである。しかし、その非線形構造と複雑な視覚-テキスト関係のため、LLM（大規模言語モデル）を用いて解釈することは困難であり、視覚-言語モデルはこれらの図を分析する際に存在しない接続や決定経路を頻繁に幻覚する。これにより、物流、医療、エンジニアリングなどの重要な領域における自動化されたフローチャート処理の信頼性が損なわれる。本論文では、フローチャートを参照するLLMの応答を特定のコンポーネントに基づいて追跡するFine-grained Flowchart Attribution（細粒度フローチャート帰属）タスクを導入する。Flowchart Attributionは、LLMの予測の検証可能性を確保し、生成された応答をフローチャートの構造にリンクすることで説明可能性を向上させる。我々は、グラフベースの推論を通じて細粒度の事後帰属を行うニューロシンボリックエージェントであるFlowPathAgentを提案する。これはまずフローチャートをセグメント化し、次に構造化されたシンボリックグラフに変換し、その後エージェントアプローチを用いてグラフと動的に相互作用し、帰属パスを生成する。さらに、様々なスタイル、ドメイン、質問タイプにわたるフローチャート帰属を評価するための新しいベンチマークであるFlowExplainBenchを提示する。実験結果は、FlowPathAgentがフローチャートQAにおけるLLMの回答の視覚的幻覚を軽減し、提案したFlowExplainBenchデータセットにおいて強力なベースラインを10-14%上回ることを示している。

English

Flowcharts are a critical tool for visualizing decision-making processes. However, their non-linear structure and complex visual-textual relationships make it challenging to interpret them using LLMs, as vision-language models frequently hallucinate nonexistent connections and decision paths when analyzing these diagrams. This leads to compromised reliability for automated flowchart processing in critical domains such as logistics, health, and engineering. We introduce the task of Fine-grained Flowchart Attribution, which traces specific components grounding a flowchart referring LLM response. Flowchart Attribution ensures the verifiability of LLM predictions and improves explainability by linking generated responses to the flowchart's structure. We propose FlowPathAgent, a neurosymbolic agent that performs fine-grained post hoc attribution through graph-based reasoning. It first segments the flowchart, then converts it into a structured symbolic graph, and then employs an agentic approach to dynamically interact with the graph, to generate attribution paths. Additionally, we present FlowExplainBench, a novel benchmark for evaluating flowchart attributions across diverse styles, domains, and question types. Experimental results show that FlowPathAgent mitigates visual hallucinations in LLM answers over flowchart QA, outperforming strong baselines by 10-14% on our proposed FlowExplainBench dataset.