AutoLibra: Induzione di Metriche Agente da Feedback Aperto

AutoLibra: Agent Metric Induction from Open-Ended Feedback

May 5, 2025

Autori: Hao Zhu, Phil Cuvin, Xinkai Yu, Charlotte Ka Yee Yan, Jason Zhang, Diyi Yang

cs.AI

Abstract

Gli agenti vengono prevalentemente valutati e ottimizzati attraverso metriche di successo del compito, che sono grossolane, si basano su un design manuale da parte di esperti e non premiano comportamenti emergenti intermedi. Proponiamo AutoLibra, un framework per la valutazione degli agenti, che trasforma feedback aperti da parte degli esseri umani, ad esempio "Se trovi che il pulsante è disabilitato, non cliccarlo di nuovo", o "Questo agente ha troppa autonomia nel decidere cosa fare da solo", in metriche per valutare comportamenti dettagliati nelle traiettorie degli agenti. AutoLibra raggiunge questo obiettivo ancorando il feedback al comportamento dell'agente, raggruppando comportamenti positivi e negativi simili e creando metriche concrete con definizioni chiare ed esempi specifici, che possono essere utilizzate per istruire un LLM-as-a-Judge come valutatore. Proponiamo inoltre due meta-metriche per valutare l'allineamento di un insieme di metriche (indotte) con il feedback aperto: "copertura" e "ridondanza". Ottimizzando queste meta-metriche, dimostriamo sperimentalmente la capacità di AutoLibra di indurre metriche di valutazione degli agenti più concrete rispetto a quelle proposte nei precedenti benchmark di valutazione degli agenti e di scoprire nuove metriche per analizzare gli agenti. Presentiamo anche due applicazioni di AutoLibra nel miglioramento degli agenti: in primo luogo, mostriamo che le metriche indotte da AutoLibra servono come obiettivi di prompt-engineering migliori rispetto al tasso di successo del compito in un'ampia gamma di task di giochi testuali, migliorando le prestazioni degli agenti rispetto al baseline di una media del 20%. In secondo luogo, dimostriamo che AutoLibra può selezionare iterativamente dati di fine-tuning di alta qualità per agenti di navigazione web. I nostri risultati suggeriscono che AutoLibra è uno strumento potente e indipendente dal compito per valutare e migliorare gli agenti linguistici.

English

Agents are predominantly evaluated and optimized via task success metrics, which are coarse, rely on manual design from experts, and fail to reward intermediate emergent behaviors. We propose AutoLibra, a framework for agent evaluation, that transforms open-ended human feedback, e.g., "If you find that the button is disabled, don't click it again", or "This agent has too much autonomy to decide what to do on its own", into metrics for evaluating fine-grained behaviors in agent trajectories. AutoLibra accomplishes this by grounding feedback to an agent's behavior, clustering similar positive and negative behaviors, and creating concrete metrics with clear definitions and concrete examples, which can be used for prompting LLM-as-a-Judge as evaluators. We further propose two meta-metrics to evaluate the alignment of a set of (induced) metrics with open feedback: "coverage" and "redundancy". Through optimizing these meta-metrics, we experimentally demonstrate AutoLibra's ability to induce more concrete agent evaluation metrics than the ones proposed in previous agent evaluation benchmarks and discover new metrics to analyze agents. We also present two applications of AutoLibra in agent improvement: First, we show that AutoLibra-induced metrics serve as better prompt-engineering targets than the task success rate on a wide range of text game tasks, improving agent performance over baseline by a mean of 20%. Second, we show that AutoLibra can iteratively select high-quality fine-tuning data for web navigation agents. Our results suggest that AutoLibra is a powerful task-agnostic tool for evaluating and improving language agents.