Agentic CLEAR : Automatisation de l'évaluation multi-niveaux des agents LLM

Résumé

Les systèmes agentiques deviennent de plus en plus capables : ils définissent des stratégies, prennent des décisions et interagissent avec divers environnements. Cette autonomie pose des défis majeurs pour la supervision et l’évaluation de leur comportement. La plupart des outils actuels sont limités, se concentrant sur l’observabilité avec des capacités d’évaluation basiques, ou imposant des taxonomies d’erreurs statiques et artisanales qui ne peuvent s’adapter à de nouveaux domaines. Pour combler cette lacune, nous présentons Agentic CLEAR, un cadre d’évaluation automatique, dynamique et facile à utiliser. Il produit des éclairages textuels sur le comportement de l’agent à trois niveaux de granularité : système, trace et nœud. Agentic CLEAR opère au-dessus de la couche d’observabilité, permettant une intégration transparente, et propose une interface utilisateur intuitive qui rend l’évaluation des agents très accessible. Dans nos expérimentations sur quatre benchmarks, sept configurations agentiques et des dizaines de milliers d’appels LLM, nous montrons qu’Agentic CLEAR génère des retours de haute qualité, fondés sur les données et riches en enseignements. Notre analyse révèle une forte concordance avec les erreurs annotées par des humains ainsi que la capacité à prédire le taux de réussite des tâches.

English

Agentic systems are becoming more capable: agents define strategies, take actions, and interact with different environments. This autonomy poses serious challenges for overseeing and assessing agent behavior. Most current tools are limited, focusing on observability with basic evaluation capabilities or imposing static, hand-crafted error taxonomies that cannot adapt to new domains. To address this gap, we present Agentic CLEAR, an automatic, dynamic, and easy-to-use evaluation framework. It produces textual insights into the agent behavior on three levels of granularity: system, trace, and node. Agentic CLEAR operates above the observability layer, enabling seamless integration and featuring an intuitive UI that makes agent evaluation highly accessible. In our experiments on four benchmarks, seven agentic settings, and tens of thousands of LLM calls, we show that Agentic CLEAR produces high-quality, data-driven, insightful feedback. Our analysis shows strong alignment with human-annotated errors and the ability to predict task success rate.