Следуйте потоку: Точное определение авторства блок-схем с помощью нейросимволических агентов

Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents

June 2, 2025

Авторы: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Vivek Gupta, Dinesh Manocha

cs.AI

Аннотация

Блок-схемы являются важным инструментом для визуализации процессов принятия решений. Однако их нелинейная структура и сложные визуально-текстовые взаимосвязи затрудняют их интерпретацию с использованием языковых моделей (LLM), так как модели, работающие с визуальными и текстовыми данными, часто генерируют несуществующие связи и пути решений при анализе таких диаграмм. Это снижает надежность автоматизированной обработки блок-схем в критически важных областях, таких как логистика, здравоохранение и инженерия. Мы представляем задачу тонкой атрибуции блок-схем, которая отслеживает конкретные компоненты, на которых основываются ответы LLM, ссылающиеся на блок-схему. Атрибуция блок-схем обеспечивает проверяемость предсказаний LLM и повышает объяснимость, связывая сгенерированные ответы со структурой блок-схемы. Мы предлагаем FlowPathAgent, нейросимволический агент, который выполняет тонкую апостериорную атрибуцию с помощью графового рассуждения. Сначала он сегментирует блок-схему, затем преобразует её в структурированный символический граф и использует агентный подход для динамического взаимодействия с графом с целью генерации путей атрибуции. Кроме того, мы представляем FlowExplainBench, новый эталонный набор данных для оценки атрибуции блок-схем в различных стилях, областях и типах вопросов. Экспериментальные результаты показывают, что FlowPathAgent снижает визуальные галлюцинации в ответах LLM на вопросы по блок-схемам, превосходя сильные базовые модели на 10–14% на нашем предложенном наборе данных FlowExplainBench.

English

Flowcharts are a critical tool for visualizing decision-making processes. However, their non-linear structure and complex visual-textual relationships make it challenging to interpret them using LLMs, as vision-language models frequently hallucinate nonexistent connections and decision paths when analyzing these diagrams. This leads to compromised reliability for automated flowchart processing in critical domains such as logistics, health, and engineering. We introduce the task of Fine-grained Flowchart Attribution, which traces specific components grounding a flowchart referring LLM response. Flowchart Attribution ensures the verifiability of LLM predictions and improves explainability by linking generated responses to the flowchart's structure. We propose FlowPathAgent, a neurosymbolic agent that performs fine-grained post hoc attribution through graph-based reasoning. It first segments the flowchart, then converts it into a structured symbolic graph, and then employs an agentic approach to dynamically interact with the graph, to generate attribution paths. Additionally, we present FlowExplainBench, a novel benchmark for evaluating flowchart attributions across diverse styles, domains, and question types. Experimental results show that FlowPathAgent mitigates visual hallucinations in LLM answers over flowchart QA, outperforming strong baselines by 10-14% on our proposed FlowExplainBench dataset.