Agentic CLEAR: Automatización de la Evaluación Multinivel de Agentes LLM

Resumen

Los sistemas agentivos se están volviendo más capaces: los agentes definen estrategias, toman acciones e interactúan con diferentes entornos. Esta autonomía plantea serios desafíos para supervisar y evaluar el comportamiento de los agentes. La mayoría de las herramientas actuales son limitadas, centrándose en la observabilidad con capacidades básicas de evaluación o imponiendo taxonomías de errores estáticas y artesanales que no pueden adaptarse a nuevos dominios. Para abordar esta brecha, presentamos Agentic CLEAR, un marco de evaluación automático, dinámico y fácil de usar. Produce información textual sobre el comportamiento del agente en tres niveles de granularidad: sistema, traza y nodo. Agentic CLEAR opera por encima de la capa de observabilidad, permitiendo una integración sin fisuras y presentando una interfaz de usuario intuitiva que hace que la evaluación de agentes sea muy accesible. En nuestros experimentos con cuatro puntos de referencia, siete configuraciones agentivas y decenas de miles de llamadas a modelos de lenguaje de gran tamaño (LLM), mostramos que Agentic CLEAR produce retroalimentación de alta calidad, basada en datos y reveladora. Nuestro análisis muestra una fuerte alineación con los errores anotados por humanos y la capacidad de predecir la tasa de éxito de la tarea.

English

Agentic systems are becoming more capable: agents define strategies, take actions, and interact with different environments. This autonomy poses serious challenges for overseeing and assessing agent behavior. Most current tools are limited, focusing on observability with basic evaluation capabilities or imposing static, hand-crafted error taxonomies that cannot adapt to new domains. To address this gap, we present Agentic CLEAR, an automatic, dynamic, and easy-to-use evaluation framework. It produces textual insights into the agent behavior on three levels of granularity: system, trace, and node. Agentic CLEAR operates above the observability layer, enabling seamless integration and featuring an intuitive UI that makes agent evaluation highly accessible. In our experiments on four benchmarks, seven agentic settings, and tens of thousands of LLM calls, we show that Agentic CLEAR produces high-quality, data-driven, insightful feedback. Our analysis shows strong alignment with human-annotated errors and the ability to predict task success rate.