Das Características às Ações: Explicabilidade em Sistemas de IA Tradicionais e Agentes

From Features to Actions: Explainability in Traditional and Agentic AI Systems

February 6, 2026

Autores: Sindhuja Chaduvula, Jessee Ho, Kina Kim, Aravind Narayanan, Mahshid Alinoori, Muskan Garg, Dhanesh Ramachandram, Shaina Raza

cs.AI

Resumo

Na última década, a IA explicável concentrou-se principalmente na interpretação de previsões individuais de modelos, produzindo explicações pós-hoc que relacionam entradas e saídas sob uma estrutura de decisão fixa. Avanços recentes em modelos de linguagem grande (LLMs) permitiram sistemas de IA agentes cujo comportamento se desenrola em trajetórias de múltiplos passos. Nestes contextos, o sucesso e o fracasso são determinados por sequências de decisões, e não por uma única saída. Embora úteis, permanece incerto como as abordagens de explicação concebidas para previsões estáticas se traduzem em contextos agentes onde o comportamento emerge ao longo do tempo. Neste trabalho, colmatamos o fosso entre a explicabilidade estática e a agente, comparando explicações baseadas em atribuição com diagnósticos baseados em traços em ambos os contextos. Para tornar esta distinção explícita, comparamos empiricamente explicações baseadas em atribuição usadas em tarefas de classificação estática com diagnósticos baseados em traços usados em benchmarks agentes (TAU-bench Airline e AssistantBench). Os nossos resultados mostram que, embora os métodos de atribuição atinjam classificações de características estáveis em contextos estáticos (Spearman ρ= 0,86), eles não podem ser aplicados de forma fiável para diagnosticar falhas a nível de execução em trajetórias agentes. Em contraste, a avaliação por rubrica baseada em traços para contextos agentes localiza consistentemente colapsos de comportamento e revela que a inconsistência no rastreamento de estado é 2,7 vezes mais prevalente em execuções falhadas e reduz a probabilidade de sucesso em 49%. Estes resultados motivam uma mudança para a explicabilidade a nível de trajetória para sistemas agentes na avaliação e diagnóstico do comportamento autónomo da IA. Recursos: https://github.com/VectorInstitute/unified-xai-evaluation-framework https://vectorinstitute.github.io/unified-xai-evaluation-framework

English

Over the last decade, explainable AI has primarily focused on interpreting individual model predictions, producing post-hoc explanations that relate inputs to outputs under a fixed decision structure. Recent advances in large language models (LLMs) have enabled agentic AI systems whose behaviour unfolds over multi-step trajectories. In these settings, success and failure are determined by sequences of decisions rather than a single output. While useful, it remains unclear how explanation approaches designed for static predictions translate to agentic settings where behaviour emerges over time. In this work, we bridge the gap between static and agentic explainability by comparing attribution-based explanations with trace-based diagnostics across both settings. To make this distinction explicit, we empirically compare attribution-based explanations used in static classification tasks with trace-based diagnostics used in agentic benchmarks (TAU-bench Airline and AssistantBench). Our results show that while attribution methods achieve stable feature rankings in static settings (Spearman ρ= 0.86), they cannot be applied reliably to diagnose execution-level failures in agentic trajectories. In contrast, trace-grounded rubric evaluation for agentic settings consistently localizes behaviour breakdowns and reveals that state tracking inconsistency is 2.7times more prevalent in failed runs and reduces success probability by 49\%. These findings motivate a shift towards trajectory-level explainability for agentic systems when evaluating and diagnosing autonomous AI behaviour. Resources: https://github.com/VectorInstitute/unified-xai-evaluation-framework https://vectorinstitute.github.io/unified-xai-evaluation-framework