AutoLibra: Metrische Inductie van Agents via Open-Eind Feedback

AutoLibra: Agent Metric Induction from Open-Ended Feedback

May 5, 2025

Auteurs: Hao Zhu, Phil Cuvin, Xinkai Yu, Charlotte Ka Yee Yan, Jason Zhang, Diyi Yang

cs.AI

Samenvatting

Agents worden voornamelijk geëvalueerd en geoptimaliseerd aan de hand van taaksuccesmetrieken, die grof zijn, afhankelijk zijn van handmatig ontwerp door experts, en geen beloning bieden voor tussentijdse emergente gedragingen. Wij stellen AutoLibra voor, een raamwerk voor agentevaluatie, dat open-einde menselijke feedback, zoals "Als je merkt dat de knop uitgeschakeld is, klik er dan niet nogmaals op", of "Deze agent heeft te veel autonomie om zelf te beslissen wat te doen", omzet in metrieken voor het evalueren van fijnmazige gedragingen in agenttrajecten. AutoLibra bereikt dit door feedback te verankeren aan het gedrag van een agent, vergelijkbare positieve en negatieve gedragingen te clusteren, en concrete metrieken te creëren met duidelijke definities en specifieke voorbeelden, die kunnen worden gebruikt om LLM-as-a-Judge als evaluatoren aan te sturen. Wij stellen verder twee meta-metrieken voor om de afstemming van een set (geïnduceerde) metrieken met open feedback te evalueren: "dekking" en "redundantie". Door het optimaliseren van deze meta-metrieken, tonen we experimenteel aan dat AutoLibra in staat is om meer concrete agentevaluatiemetrieken te induceren dan die welke worden voorgesteld in eerdere agentevaluatiebenchmarks, en nieuwe metrieken te ontdekken om agents te analyseren. We presenteren ook twee toepassingen van AutoLibra in agentverbetering: Ten eerste laten we zien dat door AutoLibra geïnduceerde metrieken betere prompt-engineeringdoelen dienen dan de taaksuccesratio bij een breed scala aan tekstspeltaken, wat de agentprestatie ten opzichte van de baseline met een gemiddelde van 20% verbetert. Ten tweede tonen we aan dat AutoLibra iteratief hoogwaardige fine-tuningdata kan selecteren voor webnavigatieagents. Onze resultaten suggereren dat AutoLibra een krachtig, taakonafhankelijk hulpmiddel is voor het evalueren en verbeteren van taalagents.

English

Agents are predominantly evaluated and optimized via task success metrics, which are coarse, rely on manual design from experts, and fail to reward intermediate emergent behaviors. We propose AutoLibra, a framework for agent evaluation, that transforms open-ended human feedback, e.g., "If you find that the button is disabled, don't click it again", or "This agent has too much autonomy to decide what to do on its own", into metrics for evaluating fine-grained behaviors in agent trajectories. AutoLibra accomplishes this by grounding feedback to an agent's behavior, clustering similar positive and negative behaviors, and creating concrete metrics with clear definitions and concrete examples, which can be used for prompting LLM-as-a-Judge as evaluators. We further propose two meta-metrics to evaluate the alignment of a set of (induced) metrics with open feedback: "coverage" and "redundancy". Through optimizing these meta-metrics, we experimentally demonstrate AutoLibra's ability to induce more concrete agent evaluation metrics than the ones proposed in previous agent evaluation benchmarks and discover new metrics to analyze agents. We also present two applications of AutoLibra in agent improvement: First, we show that AutoLibra-induced metrics serve as better prompt-engineering targets than the task success rate on a wide range of text game tasks, improving agent performance over baseline by a mean of 20%. Second, we show that AutoLibra can iteratively select high-quality fine-tuning data for web navigation agents. Our results suggest that AutoLibra is a powerful task-agnostic tool for evaluating and improving language agents.