AutoLibra : Induction de métriques d'agents à partir de retours ouverts

AutoLibra: Agent Metric Induction from Open-Ended Feedback

May 5, 2025

Auteurs: Hao Zhu, Phil Cuvin, Xinkai Yu, Charlotte Ka Yee Yan, Jason Zhang, Diyi Yang

cs.AI

Résumé

Les agents sont principalement évalués et optimisés via des métriques de réussite de tâches, qui sont grossières, reposent sur une conception manuelle par des experts, et ne récompensent pas les comportements émergents intermédiaires. Nous proposons AutoLibra, un cadre d'évaluation des agents, qui transforme les retours ouverts des humains, par exemple "Si vous constatez que le bouton est désactivé, ne cliquez pas à nouveau", ou "Cet agent a trop d'autonomie pour décider seul de ce qu'il doit faire", en métriques pour évaluer les comportements fins dans les trajectoires des agents. AutoLibra y parvient en ancrant les retours au comportement de l'agent, en regroupant les comportements positifs et négatifs similaires, et en créant des métriques concrètes avec des définitions claires et des exemples précis, qui peuvent être utilisées pour solliciter un LLM-as-a-Judge en tant qu'évaluateur. Nous proposons en outre deux méta-métriques pour évaluer l'alignement d'un ensemble de métriques (induites) avec les retours ouverts : "couverture" et "redondance". En optimisant ces méta-métriques, nous démontrons expérimentalement la capacité d'AutoLibra à induire des métriques d'évaluation des agents plus concrètes que celles proposées dans les benchmarks d'évaluation d'agents précédents, et à découvrir de nouvelles métriques pour analyser les agents. Nous présentons également deux applications d'AutoLibra dans l'amélioration des agents : Premièrement, nous montrons que les métriques induites par AutoLibra servent de meilleures cibles pour l'ingénierie des prompts que le taux de réussite des tâches sur une large gamme de jeux textuels, améliorant les performances des agents par rapport à la ligne de base d'une moyenne de 20%. Deuxièmement, nous montrons qu'AutoLibra peut sélectionner itérativement des données de fine-tuning de haute qualité pour les agents de navigation web. Nos résultats suggèrent qu'AutoLibra est un outil puissant et indépendant de la tâche pour évaluer et améliorer les agents linguistiques.

English

Agents are predominantly evaluated and optimized via task success metrics, which are coarse, rely on manual design from experts, and fail to reward intermediate emergent behaviors. We propose AutoLibra, a framework for agent evaluation, that transforms open-ended human feedback, e.g., "If you find that the button is disabled, don't click it again", or "This agent has too much autonomy to decide what to do on its own", into metrics for evaluating fine-grained behaviors in agent trajectories. AutoLibra accomplishes this by grounding feedback to an agent's behavior, clustering similar positive and negative behaviors, and creating concrete metrics with clear definitions and concrete examples, which can be used for prompting LLM-as-a-Judge as evaluators. We further propose two meta-metrics to evaluate the alignment of a set of (induced) metrics with open feedback: "coverage" and "redundancy". Through optimizing these meta-metrics, we experimentally demonstrate AutoLibra's ability to induce more concrete agent evaluation metrics than the ones proposed in previous agent evaluation benchmarks and discover new metrics to analyze agents. We also present two applications of AutoLibra in agent improvement: First, we show that AutoLibra-induced metrics serve as better prompt-engineering targets than the task success rate on a wide range of text game tasks, improving agent performance over baseline by a mean of 20%. Second, we show that AutoLibra can iteratively select high-quality fine-tuning data for web navigation agents. Our results suggest that AutoLibra is a powerful task-agnostic tool for evaluating and improving language agents.