Agentic CLEAR: Geautomatiseerde meerlaagse evaluatie van LLM-agenten

Samenvatting

Agentische systemen worden steeds capabeler: agents definiëren strategieën, ondernemen acties en interageren met verschillende omgevingen. Deze autonomie vormt een serieuze uitdaging voor het toezicht op en de beoordeling van agentgedrag. De meeste huidige tools zijn beperkt; ze zijn gericht op observeerbaarheid met basale evaluatiemogelijkheden of leggen statische, handgemaakte foutentaxonomieën op die niet kunnen worden aangepast aan nieuwe domeinen. Om deze leemte te vullen presenteren wij Agentic CLEAR, een automatisch, dynamisch en gebruiksvriendelijk evaluatiekader. Het genereert tekstuele inzichten in het agentgedrag op drie granulariteitsniveaus: systeem, trace en node. Agentic CLEAR functioneert boven de observeerbaarheidslaag, wat naadloze integratie mogelijk maakt, en beschikt over een intuïtieve gebruikersinterface die agentevaluatie zeer toegankelijk maakt. In onze experimenten op vier benchmarks, zeven agentische settings en tienduizenden LLM-gesprekken tonen wij aan dat Agentic CLEAR hoogwaardige, datagedreven en inzichtelijke feedback levert. Onze analyse laat een sterke overeenstemming zien met door mensen geannoteerde fouten en het vermogen om het taaksuccespercentage te voorspellen.

English

Agentic systems are becoming more capable: agents define strategies, take actions, and interact with different environments. This autonomy poses serious challenges for overseeing and assessing agent behavior. Most current tools are limited, focusing on observability with basic evaluation capabilities or imposing static, hand-crafted error taxonomies that cannot adapt to new domains. To address this gap, we present Agentic CLEAR, an automatic, dynamic, and easy-to-use evaluation framework. It produces textual insights into the agent behavior on three levels of granularity: system, trace, and node. Agentic CLEAR operates above the observability layer, enabling seamless integration and featuring an intuitive UI that makes agent evaluation highly accessible. In our experiments on four benchmarks, seven agentic settings, and tens of thousands of LLM calls, we show that Agentic CLEAR produces high-quality, data-driven, insightful feedback. Our analysis shows strong alignment with human-annotated errors and the ability to predict task success rate.