Sigue el Flujo: Atribución Detallada de Diagramas de Flujo con Agentes Neurosimbólicos

Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents

June 2, 2025

Autores: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Vivek Gupta, Dinesh Manocha

cs.AI

Resumen

Los diagramas de flujo son una herramienta fundamental para visualizar procesos de toma de decisiones. Sin embargo, su estructura no lineal y las complejas relaciones visual-textuales dificultan su interpretación mediante modelos de lenguaje grandes (LLMs), ya que los modelos de visión-lenguaje suelen alucinar conexiones y rutas de decisión inexistentes al analizar estos diagramas. Esto compromete la fiabilidad del procesamiento automatizado de diagramas de flujo en dominios críticos como logística, salud e ingeniería. Introducimos la tarea de Atribución de Diagramas de Flujo de Grano Fino, que rastrea componentes específicos que fundamentan una respuesta de un LLM referente a un diagrama de flujo. La Atribución de Diagramas de Flujo garantiza la verificabilidad de las predicciones de los LLMs y mejora la explicabilidad al vincular las respuestas generadas con la estructura del diagrama. Proponemos FlowPathAgent, un agente neurosimbólico que realiza atribuciones de grano fino post hoc mediante razonamiento basado en grafos. Primero segmenta el diagrama de flujo, luego lo convierte en un grafo simbólico estructurado y, finalmente, emplea un enfoque agéntico para interactuar dinámicamente con el grafo y generar rutas de atribución. Además, presentamos FlowExplainBench, un nuevo punto de referencia para evaluar atribuciones de diagramas de flujo en diversos estilos, dominios y tipos de preguntas. Los resultados experimentales muestran que FlowPathAgent mitiga las alucinaciones visuales en las respuestas de los LLMs sobre preguntas y respuestas de diagramas de flujo, superando a los baselines fuertes en un 10-14% en nuestro conjunto de datos FlowExplainBench propuesto.

English

Flowcharts are a critical tool for visualizing decision-making processes. However, their non-linear structure and complex visual-textual relationships make it challenging to interpret them using LLMs, as vision-language models frequently hallucinate nonexistent connections and decision paths when analyzing these diagrams. This leads to compromised reliability for automated flowchart processing in critical domains such as logistics, health, and engineering. We introduce the task of Fine-grained Flowchart Attribution, which traces specific components grounding a flowchart referring LLM response. Flowchart Attribution ensures the verifiability of LLM predictions and improves explainability by linking generated responses to the flowchart's structure. We propose FlowPathAgent, a neurosymbolic agent that performs fine-grained post hoc attribution through graph-based reasoning. It first segments the flowchart, then converts it into a structured symbolic graph, and then employs an agentic approach to dynamically interact with the graph, to generate attribution paths. Additionally, we present FlowExplainBench, a novel benchmark for evaluating flowchart attributions across diverse styles, domains, and question types. Experimental results show that FlowPathAgent mitigates visual hallucinations in LLM answers over flowchart QA, outperforming strong baselines by 10-14% on our proposed FlowExplainBench dataset.