AutoLibra: Inducción de Métricas de Agente a partir de Retroalimentación Abierta

AutoLibra: Agent Metric Induction from Open-Ended Feedback

May 5, 2025

Autores: Hao Zhu, Phil Cuvin, Xinkai Yu, Charlotte Ka Yee Yan, Jason Zhang, Diyi Yang

cs.AI

Resumen

Los agentes son predominantemente evaluados y optimizados mediante métricas de éxito en tareas, las cuales son generales, dependen de un diseño manual por parte de expertos y no logran recompensar comportamientos intermedios emergentes. Proponemos AutoLibra, un marco para la evaluación de agentes, que transforma comentarios abiertos de humanos, como "Si encuentras que el botón está deshabilitado, no lo vuelvas a hacer clic", o "Este agente tiene demasiada autonomía para decidir qué hacer por sí mismo", en métricas para evaluar comportamientos detallados en las trayectorias de los agentes. AutoLibra logra esto al vincular los comentarios con el comportamiento del agente, agrupando comportamientos positivos y negativos similares, y creando métricas concretas con definiciones claras y ejemplos específicos, que pueden utilizarse para guiar a un LLM-como-Juez como evaluador. Además, proponemos dos meta-métricas para evaluar la alineación de un conjunto de métricas (inducidas) con comentarios abiertos: "cobertura" y "redundancia". Al optimizar estas meta-métricas, demostramos experimentalmente la capacidad de AutoLibra para inducir métricas de evaluación de agentes más concretas que las propuestas en benchmarks anteriores de evaluación de agentes y descubrir nuevas métricas para analizar agentes. También presentamos dos aplicaciones de AutoLibra en la mejora de agentes: Primero, mostramos que las métricas inducidas por AutoLibra sirven como objetivos de ingeniería de prompts más efectivos que la tasa de éxito en tareas en una amplia gama de juegos de texto, mejorando el rendimiento del agente respecto a la línea base en un promedio del 20%. Segundo, demostramos que AutoLibra puede seleccionar iterativamente datos de ajuste fino de alta calidad para agentes de navegación web. Nuestros resultados sugieren que AutoLibra es una herramienta poderosa y agnóstica a la tarea para evaluar y mejorar agentes de lenguaje.

English

Agents are predominantly evaluated and optimized via task success metrics, which are coarse, rely on manual design from experts, and fail to reward intermediate emergent behaviors. We propose AutoLibra, a framework for agent evaluation, that transforms open-ended human feedback, e.g., "If you find that the button is disabled, don't click it again", or "This agent has too much autonomy to decide what to do on its own", into metrics for evaluating fine-grained behaviors in agent trajectories. AutoLibra accomplishes this by grounding feedback to an agent's behavior, clustering similar positive and negative behaviors, and creating concrete metrics with clear definitions and concrete examples, which can be used for prompting LLM-as-a-Judge as evaluators. We further propose two meta-metrics to evaluate the alignment of a set of (induced) metrics with open feedback: "coverage" and "redundancy". Through optimizing these meta-metrics, we experimentally demonstrate AutoLibra's ability to induce more concrete agent evaluation metrics than the ones proposed in previous agent evaluation benchmarks and discover new metrics to analyze agents. We also present two applications of AutoLibra in agent improvement: First, we show that AutoLibra-induced metrics serve as better prompt-engineering targets than the task success rate on a wide range of text game tasks, improving agent performance over baseline by a mean of 20%. Second, we show that AutoLibra can iteratively select high-quality fine-tuning data for web navigation agents. Our results suggest that AutoLibra is a powerful task-agnostic tool for evaluating and improving language agents.