AutoLibra: Metrikinduktion für Agenten aus offenem Feedback

AutoLibra: Agent Metric Induction from Open-Ended Feedback

May 5, 2025

Autoren: Hao Zhu, Phil Cuvin, Xinkai Yu, Charlotte Ka Yee Yan, Jason Zhang, Diyi Yang

cs.AI

Zusammenfassung

Agenten werden hauptsächlich über Aufgaben-Erfolgsmetriken bewertet und optimiert, die grob sind, auf manuellen Entwürfen von Experten basieren und es versäumen, intermediäre emergente Verhaltensweisen zu belohnen. Wir schlagen AutoLibra vor, ein Framework zur Bewertung von Agenten, das offenes menschliches Feedback, wie z.B. „Wenn du feststellst, dass der Button deaktiviert ist, klicke ihn nicht erneut“ oder „Dieser Agent hat zu viel Autonomie, um selbstständig zu entscheiden, was zu tun ist“, in Metriken zur Bewertung feingranularer Verhaltensweisen in Agenten-Trajektorien umwandelt. AutoLibra erreicht dies, indem es Feedback auf das Verhalten eines Agenten abstützt, ähnliche positive und negative Verhaltensweisen clustert und konkrete Metriken mit klaren Definitionen und konkreten Beispielen erstellt, die zur Prompting von LLM-as-a-Judge als Bewerter verwendet werden können. Wir schlagen weiterhin zwei Meta-Metriken vor, um die Ausrichtung einer Menge von (induzierten) Metriken auf offenes Feedback zu bewerten: „Abdeckung“ und „Redundanz“. Durch die Optimierung dieser Meta-Metriken demonstrieren wir experimentell die Fähigkeit von AutoLibra, konkretere Bewertungsmetriken für Agenten zu induzieren als die in früheren Agenten-Bewertungsbenchmarks vorgeschlagenen, und neue Metriken zur Analyse von Agenten zu entdecken. Wir präsentieren auch zwei Anwendungen von AutoLibra zur Verbesserung von Agenten: Erstens zeigen wir, dass durch AutoLibra induzierte Metriken bessere Ziele für das Prompt-Engineering darstellen als die Aufgaben-Erfolgsrate bei einer Vielzahl von Textspiel-Aufgaben, wodurch die Agentenleistung im Vergleich zur Baseline im Durchschnitt um 20 % verbessert wird. Zweitens zeigen wir, dass AutoLibra iterativ hochwertige Feinabstimmungsdaten für Web-Navigationsagenten auswählen kann. Unsere Ergebnisse deuten darauf hin, dass AutoLibra ein leistungsstarkes, aufgabenunabhängiges Werkzeug zur Bewertung und Verbesserung von Sprachagenten ist.

English

Agents are predominantly evaluated and optimized via task success metrics, which are coarse, rely on manual design from experts, and fail to reward intermediate emergent behaviors. We propose AutoLibra, a framework for agent evaluation, that transforms open-ended human feedback, e.g., "If you find that the button is disabled, don't click it again", or "This agent has too much autonomy to decide what to do on its own", into metrics for evaluating fine-grained behaviors in agent trajectories. AutoLibra accomplishes this by grounding feedback to an agent's behavior, clustering similar positive and negative behaviors, and creating concrete metrics with clear definitions and concrete examples, which can be used for prompting LLM-as-a-Judge as evaluators. We further propose two meta-metrics to evaluate the alignment of a set of (induced) metrics with open feedback: "coverage" and "redundancy". Through optimizing these meta-metrics, we experimentally demonstrate AutoLibra's ability to induce more concrete agent evaluation metrics than the ones proposed in previous agent evaluation benchmarks and discover new metrics to analyze agents. We also present two applications of AutoLibra in agent improvement: First, we show that AutoLibra-induced metrics serve as better prompt-engineering targets than the task success rate on a wide range of text game tasks, improving agent performance over baseline by a mean of 20%. Second, we show that AutoLibra can iteratively select high-quality fine-tuning data for web navigation agents. Our results suggest that AutoLibra is a powerful task-agnostic tool for evaluating and improving language agents.