AutoLibra: Indução de Métricas de Agente a partir de Feedback Aberto

AutoLibra: Agent Metric Induction from Open-Ended Feedback

May 5, 2025

Autores: Hao Zhu, Phil Cuvin, Xinkai Yu, Charlotte Ka Yee Yan, Jason Zhang, Diyi Yang

cs.AI

Resumo

Os agentes são predominantemente avaliados e otimizados por meio de métricas de sucesso em tarefas, que são grosseiras, dependem de design manual de especialistas e falham em recompensar comportamentos emergentes intermediários. Propomos o AutoLibra, uma estrutura para avaliação de agentes, que transforma feedback humano aberto, por exemplo, "Se você perceber que o botão está desativado, não clique nele novamente", ou "Este agente tem autonomia excessiva para decidir o que fazer por conta própria", em métricas para avaliar comportamentos detalhados em trajetórias de agentes. O AutoLibra realiza isso ancorando o feedback ao comportamento do agente, agrupando comportamentos positivos e negativos semelhantes, e criando métricas concretas com definições claras e exemplos específicos, que podem ser usados para orientar LLM-as-a-Judge como avaliadores. Propomos ainda duas meta-métricas para avaliar o alinhamento de um conjunto de métricas (induzidas) com feedback aberto: "cobertura" e "redundância". Ao otimizar essas meta-métricas, demonstramos experimentalmente a capacidade do AutoLibra de induzir métricas de avaliação de agentes mais concretas do que as propostas em benchmarks anteriores de avaliação de agentes e descobrir novas métricas para analisar agentes. Também apresentamos duas aplicações do AutoLibra na melhoria de agentes: Primeiro, mostramos que as métricas induzidas pelo AutoLibra servem como alvos melhores para engenharia de prompts do que a taxa de sucesso em tarefas em uma ampla gama de tarefas de jogos de texto, melhorando o desempenho do agente em relação à linha de base em uma média de 20%. Segundo, mostramos que o AutoLibra pode selecionar iterativamente dados de ajuste fino de alta qualidade para agentes de navegação na web. Nossos resultados sugerem que o AutoLibra é uma ferramenta poderosa e independente de tarefas para avaliar e melhorar agentes de linguagem.

English

Agents are predominantly evaluated and optimized via task success metrics, which are coarse, rely on manual design from experts, and fail to reward intermediate emergent behaviors. We propose AutoLibra, a framework for agent evaluation, that transforms open-ended human feedback, e.g., "If you find that the button is disabled, don't click it again", or "This agent has too much autonomy to decide what to do on its own", into metrics for evaluating fine-grained behaviors in agent trajectories. AutoLibra accomplishes this by grounding feedback to an agent's behavior, clustering similar positive and negative behaviors, and creating concrete metrics with clear definitions and concrete examples, which can be used for prompting LLM-as-a-Judge as evaluators. We further propose two meta-metrics to evaluate the alignment of a set of (induced) metrics with open feedback: "coverage" and "redundancy". Through optimizing these meta-metrics, we experimentally demonstrate AutoLibra's ability to induce more concrete agent evaluation metrics than the ones proposed in previous agent evaluation benchmarks and discover new metrics to analyze agents. We also present two applications of AutoLibra in agent improvement: First, we show that AutoLibra-induced metrics serve as better prompt-engineering targets than the task success rate on a wide range of text game tasks, improving agent performance over baseline by a mean of 20%. Second, we show that AutoLibra can iteratively select high-quality fine-tuning data for web navigation agents. Our results suggest that AutoLibra is a powerful task-agnostic tool for evaluating and improving language agents.