흐름을 따라가라: 신경-기호 에이전트를 활용한 세밀한 플로우차트 속성 추적

Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents

June 2, 2025

저자: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Vivek Gupta, Dinesh Manocha

cs.AI

초록

플로우차트는 의사결정 과정을 시각화하는 데 있어 중요한 도구입니다. 그러나 비선형적인 구조와 복잡한 시각-텍스트 관계로 인해 LLM(Large Language Model)을 사용하여 이를 해석하는 것은 어려운 과제입니다. 시각-언어 모델은 이러한 다이어그램을 분석할 때 존재하지 않는 연결과 의사결정 경로를 자주 환각적으로 생성하기 때문입니다. 이는 물류, 의료, 공학과 같은 중요한 분야에서 자동화된 플로우차트 처리의 신뢰성을 저하시키는 원인이 됩니다. 우리는 플로우차트를 참조하는 LLM 응답의 근거가 되는 특정 구성 요소를 추적하는 세분화된 플로우차트 속성(Fine-grained Flowchart Attribution) 작업을 소개합니다. 플로우차트 속성은 LLM 예측의 검증 가능성을 보장하고, 생성된 응답을 플로우차트의 구조와 연결하여 설명 가능성을 향상시킵니다. 우리는 그래프 기반 추론을 통해 세분화된 사후 속성을 수행하는 신경-기호적 에이전트인 FlowPathAgent를 제안합니다. 이 에이전트는 먼저 플로우차트를 분할하고, 이를 구조화된 기호 그래프로 변환한 후, 그래프와 동적으로 상호작용하여 속성 경로를 생성합니다. 또한, 다양한 스타일, 도메인 및 질문 유형에 걸쳐 플로우차트 속성을 평가하기 위한 새로운 벤치마크인 FlowExplainBench를 제시합니다. 실험 결과, FlowPathAgent는 플로우차트 QA에서 LLM 응답의 시각적 환각 현상을 완화하며, 제안된 FlowExplainBench 데이터셋에서 강력한 베이스라인을 10-14% 앞섰습니다.

English

Flowcharts are a critical tool for visualizing decision-making processes. However, their non-linear structure and complex visual-textual relationships make it challenging to interpret them using LLMs, as vision-language models frequently hallucinate nonexistent connections and decision paths when analyzing these diagrams. This leads to compromised reliability for automated flowchart processing in critical domains such as logistics, health, and engineering. We introduce the task of Fine-grained Flowchart Attribution, which traces specific components grounding a flowchart referring LLM response. Flowchart Attribution ensures the verifiability of LLM predictions and improves explainability by linking generated responses to the flowchart's structure. We propose FlowPathAgent, a neurosymbolic agent that performs fine-grained post hoc attribution through graph-based reasoning. It first segments the flowchart, then converts it into a structured symbolic graph, and then employs an agentic approach to dynamically interact with the graph, to generate attribution paths. Additionally, we present FlowExplainBench, a novel benchmark for evaluating flowchart attributions across diverse styles, domains, and question types. Experimental results show that FlowPathAgent mitigates visual hallucinations in LLM answers over flowchart QA, outperforming strong baselines by 10-14% on our proposed FlowExplainBench dataset.