Suivez le flux : Attribution fine de diagrammes de flux avec des agents neurosymboliques

Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents

June 2, 2025

Auteurs: Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Vivek Gupta, Dinesh Manocha

cs.AI

Résumé

Les organigrammes sont un outil essentiel pour visualiser les processus de prise de décision. Cependant, leur structure non linéaire et les relations complexes entre éléments visuels et textuels rendent leur interprétation par les modèles de langage (LLM) difficile, car les modèles vision-langage hallucinent souvent des connexions et des chemins de décision inexistants lors de l'analyse de ces diagrammes. Cela compromet la fiabilité du traitement automatisé des organigrammes dans des domaines critiques tels que la logistique, la santé et l'ingénierie. Nous introduisons la tâche d'Attribution Fine des Organigrammes, qui retrace les composants spécifiques justifiant une réponse d'un LLM faisant référence à un organigramme. L'Attribution des Organigrammes assure la vérifiabilité des prédictions des LLM et améliore l'explicabilité en reliant les réponses générées à la structure de l'organigramme. Nous proposons FlowPathAgent, un agent neurosymbolique qui effectue une attribution fine a posteriori grâce à un raisonnement basé sur les graphes. Il segmente d'abord l'organigramme, le convertit en un graphe symbolique structuré, puis utilise une approche agentique pour interagir dynamiquement avec le graphe afin de générer des chemins d'attribution. De plus, nous présentons FlowExplainBench, un nouveau benchmark pour évaluer les attributions d'organigrammes à travers divers styles, domaines et types de questions. Les résultats expérimentaux montrent que FlowPathAgent atténue les hallucinations visuelles dans les réponses des LLM pour les questions-réponses sur les organigrammes, surpassant les modèles de référence de 10 à 14 % sur notre ensemble de données FlowExplainBench.

English

Flowcharts are a critical tool for visualizing decision-making processes. However, their non-linear structure and complex visual-textual relationships make it challenging to interpret them using LLMs, as vision-language models frequently hallucinate nonexistent connections and decision paths when analyzing these diagrams. This leads to compromised reliability for automated flowchart processing in critical domains such as logistics, health, and engineering. We introduce the task of Fine-grained Flowchart Attribution, which traces specific components grounding a flowchart referring LLM response. Flowchart Attribution ensures the verifiability of LLM predictions and improves explainability by linking generated responses to the flowchart's structure. We propose FlowPathAgent, a neurosymbolic agent that performs fine-grained post hoc attribution through graph-based reasoning. It first segments the flowchart, then converts it into a structured symbolic graph, and then employs an agentic approach to dynamically interact with the graph, to generate attribution paths. Additionally, we present FlowExplainBench, a novel benchmark for evaluating flowchart attributions across diverse styles, domains, and question types. Experimental results show that FlowPathAgent mitigates visual hallucinations in LLM answers over flowchart QA, outperforming strong baselines by 10-14% on our proposed FlowExplainBench dataset.