AutoLibra: Индукция метрик агента на основе открытой обратной связи

AutoLibra: Agent Metric Induction from Open-Ended Feedback

May 5, 2025

Авторы: Hao Zhu, Phil Cuvin, Xinkai Yu, Charlotte Ka Yee Yan, Jason Zhang, Diyi Yang

cs.AI

Аннотация

Агенты преимущественно оцениваются и оптимизируются с использованием метрик успешности выполнения задач, которые являются грубыми, требуют ручного проектирования экспертами и не учитывают промежуточные возникающие поведения. Мы предлагаем AutoLibra — фреймворк для оценки агентов, который преобразует открытые отзывы людей, например, "Если вы видите, что кнопка отключена, не нажимайте её снова" или "Этот агент обладает слишком большой автономией в принятии решений", в метрики для оценки детализированных поведений в траекториях агентов. AutoLibra достигает этого, связывая отзывы с поведением агента, группируя схожие положительные и отрицательные поведения и создавая конкретные метрики с четкими определениями и примерами, которые могут использоваться для запросов к LLM-as-a-Judge в качестве оценщиков. Мы также предлагаем две мета-метрики для оценки соответствия набора (индуцированных) метрик открытым отзывам: "покрытие" и "избыточность". Оптимизируя эти мета-метрики, мы экспериментально демонстрируем способность AutoLibra индуцировать более конкретные метрики оценки агентов, чем те, что предлагались в предыдущих бенчмарках, и обнаруживаем новые метрики для анализа агентов. Мы также представляем два применения AutoLibra для улучшения агентов: во-первых, показываем, что индуцированные AutoLibra метрики служат лучшими целями для инженерии запросов, чем показатель успешности выполнения задач, в широком спектре текстовых игр, улучшая производительность агентов на 20% в среднем по сравнению с базовым уровнем. Во-вторых, демонстрируем, что AutoLibra может итеративно выбирать высококачественные данные для тонкой настройки агентов веб-навигации. Наши результаты свидетельствуют о том, что AutoLibra является мощным инструментом, не зависящим от конкретной задачи, для оценки и улучшения языковых агентов.

English

Agents are predominantly evaluated and optimized via task success metrics, which are coarse, rely on manual design from experts, and fail to reward intermediate emergent behaviors. We propose AutoLibra, a framework for agent evaluation, that transforms open-ended human feedback, e.g., "If you find that the button is disabled, don't click it again", or "This agent has too much autonomy to decide what to do on its own", into metrics for evaluating fine-grained behaviors in agent trajectories. AutoLibra accomplishes this by grounding feedback to an agent's behavior, clustering similar positive and negative behaviors, and creating concrete metrics with clear definitions and concrete examples, which can be used for prompting LLM-as-a-Judge as evaluators. We further propose two meta-metrics to evaluate the alignment of a set of (induced) metrics with open feedback: "coverage" and "redundancy". Through optimizing these meta-metrics, we experimentally demonstrate AutoLibra's ability to induce more concrete agent evaluation metrics than the ones proposed in previous agent evaluation benchmarks and discover new metrics to analyze agents. We also present two applications of AutoLibra in agent improvement: First, we show that AutoLibra-induced metrics serve as better prompt-engineering targets than the task success rate on a wide range of text game tasks, improving agent performance over baseline by a mean of 20%. Second, we show that AutoLibra can iteratively select high-quality fine-tuning data for web navigation agents. Our results suggest that AutoLibra is a powerful task-agnostic tool for evaluating and improving language agents.