Het onderzoeken van expertfouten verbetert de afstemming van LLM-agenten

Exploring Expert Failures Improves LLM Agent Tuning

April 17, 2025

Auteurs: Li-Cheng Lan, Andrew Bai, Minhao Cheng, Ruochen Wang, Cho-Jui Hsieh, Tianyi Zhou

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben enorm potentieel getoond als agenten, waarbij ze uitblinken in taken die meerdere rondes van redeneren en interacties vereisen. Rejection Sampling Fine-Tuning (RFT) is naar voren gekomen als een effectieve methode voor het finetunen van LLMs als agenten: het imiteert eerst succesvolle trajecten die door experts zijn gegenereerd en verbetert vervolgens de agentvaardigheden door iteratieve finetuning op succesvolle, zelf gegenereerde trajecten. Echter, aangezien de expert (bijvoorbeeld GPT-4) vooral slaagt in eenvoudigere subtaken en RFT inherent de voorkeur geeft aan eenvoudigere scenario's, blijven veel complexe subtaken onopgelost en persistent buiten de distributie (OOD). Na onderzoek van deze uitdagende subtaken ontdekten we dat eerder mislukte expert trajecten vaak waardevolle richtlijnen kunnen bieden, zoals plannen en cruciale acties, die de verkenningsefficiëntie van de agent en het verwerven van kritieke vaardigheden aanzienlijk kunnen verbeteren. Gemotiveerd door deze observaties stellen we Exploring Expert Failures (EEF) voor, dat nuttige acties identificeert uit mislukte expert trajecten en deze integreert in de trainingsdataset. Potentieel schadelijke acties worden zorgvuldig uitgesloten om besmetting van het leerproces van het model te voorkomen. Door gebruik te maken van de nuttige acties in expertfouten lost EEF met succes enkele eerder onoplosbare subtaken op en verbetert het de afstemming van de agent. Opmerkelijk is dat onze aanpak een winstpercentage van 62\% behaalde in WebShop, wat beter is dan RFT (53,6\%) en GPT-4 (35,6\%), en voor zover wij weten, een nieuwe state-of-the-art vestigt als de eerste methode die een score van 0,81 in WebShop overschrijdt en 81 in SciWorld overtreft.

English

Large Language Models (LLMs) have shown tremendous potential as agents, excelling at tasks that require multiple rounds of reasoning and interactions. Rejection Sampling Fine-Tuning (RFT) has emerged as an effective method for finetuning LLMs as agents: it first imitates expert-generated successful trajectories and further improves agentic skills through iterative fine-tuning on successful, self-generated trajectories. However, since the expert (e.g., GPT-4) succeeds primarily on simpler subtasks and RFT inherently favors simpler scenarios, many complex subtasks remain unsolved and persistently out-of-distribution (OOD). Upon investigating these challenging subtasks, we discovered that previously failed expert trajectories can often provide valuable guidance, e.g., plans and key actions, that can significantly improve agent exploration efficiency and acquisition of critical skills. Motivated by these observations, we propose Exploring Expert Failures (EEF), which identifies beneficial actions from failed expert trajectories and integrates them into the training dataset. Potentially harmful actions are meticulously excluded to prevent contamination of the model learning process. By leveraging the beneficial actions in expert failures, EEF successfully solves some previously unsolvable subtasks and improves agent tuning performance. Remarkably, our approach achieved a 62\% win rate in WebShop, outperforming RFT (53. 6\%) and GPT-4 (35. 6\%), and to the best of our knowledge, setting a new state-of-the-art as the first method to surpass a score of 0.81 in WebShop and exceed 81 in SciWorld.