Des caractéristiques aux actions : l'explicabilité dans les systèmes d'IA traditionnels et agentifs

From Features to Actions: Explainability in Traditional and Agentic AI Systems

February 6, 2026

Auteurs: Sindhuja Chaduvula, Jessee Ho, Kina Kim, Aravind Narayanan, Mahshid Alinoori, Muskan Garg, Dhanesh Ramachandram, Shaina Raza

cs.AI

Résumé

Au cours de la dernière décennie, l'IA explicable s'est principalement concentrée sur l'interprétation des prédictions individuelles des modèles, produisant des explications post-hoc qui relient les entrées aux sorties selon une structure décisionnelle fixe. Les récents progrès des grands modèles de langage (LLM) ont permis le développement de systèmes d'IA agentiques dont le comportement se déploie sur des trajectoires à plusieurs étapes. Dans ces contextes, le succès et l'échec sont déterminés par des séquences de décisions plutôt que par une sortie unique. Bien qu'utiles, on ignore encore comment les approches explicatives conçues pour des prédictions statiques se transposent aux contextes agentiques où le comportement émerge dans le temps. Dans ce travail, nous comblons le fossé entre l'explicabilité statique et agentique en comparant les explications basées sur l'attribution avec les diagnostics basés sur la trace dans les deux contextes. Pour rendre cette distinction explicite, nous comparons empiriquement les explications par attribution utilisées dans les tâches de classification statique avec les diagnostics par trace utilisés dans les benchmarks agentiques (TAU-bench Airline et AssistantBench). Nos résultats montrent que si les méthodes d'attribution obtiennent des classements de caractéristiques stables dans les contextes statiques (Spearman ρ = 0,86), elles ne peuvent pas être appliquées de façon fiable pour diagnostiquer les échecs au niveau de l'exécution dans les trajectoires agentiques. En revanche, l'évaluation par rubrique ancrée dans la trace pour les contextes agentiques localise systématiquement les ruptures de comportement et révèle que l'incohérence du suivi de l'état est 2,7 fois plus fréquente dans les exécutions échouées et réduit la probabilité de succès de 49 %. Ces résultats motivent une transition vers une explicabilité au niveau de la trajectoire pour les systèmes agentiques lors de l'évaluation et du diagnostic du comportement autonome de l'IA. Ressources : https://github.com/VectorInstitute/unified-xai-evaluation-framework https://vectorinstitute.github.io/unified-xai-evaluation-framework

English

Over the last decade, explainable AI has primarily focused on interpreting individual model predictions, producing post-hoc explanations that relate inputs to outputs under a fixed decision structure. Recent advances in large language models (LLMs) have enabled agentic AI systems whose behaviour unfolds over multi-step trajectories. In these settings, success and failure are determined by sequences of decisions rather than a single output. While useful, it remains unclear how explanation approaches designed for static predictions translate to agentic settings where behaviour emerges over time. In this work, we bridge the gap between static and agentic explainability by comparing attribution-based explanations with trace-based diagnostics across both settings. To make this distinction explicit, we empirically compare attribution-based explanations used in static classification tasks with trace-based diagnostics used in agentic benchmarks (TAU-bench Airline and AssistantBench). Our results show that while attribution methods achieve stable feature rankings in static settings (Spearman ρ= 0.86), they cannot be applied reliably to diagnose execution-level failures in agentic trajectories. In contrast, trace-grounded rubric evaluation for agentic settings consistently localizes behaviour breakdowns and reveals that state tracking inconsistency is 2.7times more prevalent in failed runs and reduces success probability by 49\%. These findings motivate a shift towards trajectory-level explainability for agentic systems when evaluating and diagnosing autonomous AI behaviour. Resources: https://github.com/VectorInstitute/unified-xai-evaluation-framework https://vectorinstitute.github.io/unified-xai-evaluation-framework