Исследование ошибок экспертов улучшает настройку агентов на основе больших языковых моделей

Exploring Expert Failures Improves LLM Agent Tuning

April 17, 2025

Авторы: Li-Cheng Lan, Andrew Bai, Minhao Cheng, Ruochen Wang, Cho-Jui Hsieh, Tianyi Zhou

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали огромный потенциал в качестве агентов, преуспев в задачах, требующих многоэтапного рассуждения и взаимодействий. Тонкая настройка методом отбраковки (Rejection Sampling Fine-Tuning, RFT) стала эффективным подходом для адаптации LLM в качестве агентов: сначала она имитирует успешные траектории, сгенерированные экспертами, а затем улучшает агентские навыки через итеративную настройку на успешных, самостоятельно сгенерированных траекториях. Однако, поскольку эксперты (например, GPT-4) успешно справляются в основном с более простыми подзадачами, а RFT по своей природе склонен к более простым сценариям, многие сложные подзадачи остаются нерешенными и постоянно выходят за пределы распределения (out-of-distribution, OOD). Исследуя эти сложные подзадачи, мы обнаружили, что ранее неудачные траектории экспертов часто могут предоставить ценную информацию, например, планы и ключевые действия, которые могут значительно повысить эффективность исследования агента и освоение критически важных навыков. Вдохновленные этими наблюдениями, мы предлагаем метод "Исследование неудач экспертов" (Exploring Expert Failures, EEF), который выявляет полезные действия из неудачных траекторий экспертов и интегрирует их в обучающий набор данных. Потенциально вредные действия тщательно исключаются, чтобы предотвратить загрязнение процесса обучения модели. Используя полезные действия из неудач экспертов, EEF успешно решает некоторые ранее нерешаемые подзадачи и улучшает производительность настройки агента. Примечательно, что наш подход достиг 62\% успешности в WebShop, превзойдя RFT (53,6\%) и GPT-4 (35,6\%), и, насколько нам известно, установил новый рекорд, став первым методом, преодолевшим порог в 0,81 в WebShop и превысившим 81 в SciWorld.

English

Large Language Models (LLMs) have shown tremendous potential as agents, excelling at tasks that require multiple rounds of reasoning and interactions. Rejection Sampling Fine-Tuning (RFT) has emerged as an effective method for finetuning LLMs as agents: it first imitates expert-generated successful trajectories and further improves agentic skills through iterative fine-tuning on successful, self-generated trajectories. However, since the expert (e.g., GPT-4) succeeds primarily on simpler subtasks and RFT inherently favors simpler scenarios, many complex subtasks remain unsolved and persistently out-of-distribution (OOD). Upon investigating these challenging subtasks, we discovered that previously failed expert trajectories can often provide valuable guidance, e.g., plans and key actions, that can significantly improve agent exploration efficiency and acquisition of critical skills. Motivated by these observations, we propose Exploring Expert Failures (EEF), which identifies beneficial actions from failed expert trajectories and integrates them into the training dataset. Potentially harmful actions are meticulously excluded to prevent contamination of the model learning process. By leveraging the beneficial actions in expert failures, EEF successfully solves some previously unsolvable subtasks and improves agent tuning performance. Remarkably, our approach achieved a 62\% win rate in WebShop, outperforming RFT (53. 6\%) and GPT-4 (35. 6\%), and to the best of our knowledge, setting a new state-of-the-art as the first method to surpass a score of 0.81 in WebShop and exceed 81 in SciWorld.