Explorar as falhas de especialistas melhora o ajuste de agentes de LLM

Exploring Expert Failures Improves LLM Agent Tuning

April 17, 2025

Autores: Li-Cheng Lan, Andrew Bai, Minhao Cheng, Ruochen Wang, Cho-Jui Hsieh, Tianyi Zhou

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado um potencial imenso como agentes, destacando-se em tarefas que exigem múltiplas rodadas de raciocínio e interações. O Ajuste Fino por Amostragem de Rejeição (RFT) surgiu como um método eficaz para ajustar LLMs como agentes: ele primeiro imita trajetórias bem-sucedidas geradas por especialistas e, em seguida, aprimora as habilidades agentivas por meio de ajuste fino iterativo em trajetórias bem-sucedidas geradas pelo próprio modelo. No entanto, como o especialista (por exemplo, GPT-4) tem sucesso principalmente em subtarefas mais simples e o RFT favorece inerentemente cenários menos complexos, muitas subtarefas desafiadoras permanecem sem solução e persistentemente fora da distribuição (OOD). Ao investigar essas subtarefas complexas, descobrimos que trajetórias anteriores falhas do especialista frequentemente fornecem orientações valiosas, como planos e ações-chave, que podem melhorar significativamente a eficiência da exploração do agente e a aquisição de habilidades críticas. Motivados por essas observações, propomos a Exploração de Falhas de Especialistas (EEF), que identifica ações benéficas em trajetórias falhas de especialistas e as integra ao conjunto de dados de treinamento. Ações potencialmente prejudiciais são cuidadosamente excluídas para evitar a contaminação do processo de aprendizado do modelo. Ao aproveitar as ações benéficas nas falhas de especialistas, o EEF resolve com sucesso algumas subtarefas anteriormente insolúveis e melhora o desempenho do ajuste do agente. Notavelmente, nossa abordagem alcançou uma taxa de vitória de 62% no WebShop, superando o RFT (53,6%) e o GPT-4 (35,6%), e, até onde sabemos, estabelecendo um novo estado da arte como o primeiro método a ultrapassar uma pontuação de 0,81 no WebShop e exceder 81 no SciWorld.

English

Large Language Models (LLMs) have shown tremendous potential as agents, excelling at tasks that require multiple rounds of reasoning and interactions. Rejection Sampling Fine-Tuning (RFT) has emerged as an effective method for finetuning LLMs as agents: it first imitates expert-generated successful trajectories and further improves agentic skills through iterative fine-tuning on successful, self-generated trajectories. However, since the expert (e.g., GPT-4) succeeds primarily on simpler subtasks and RFT inherently favors simpler scenarios, many complex subtasks remain unsolved and persistently out-of-distribution (OOD). Upon investigating these challenging subtasks, we discovered that previously failed expert trajectories can often provide valuable guidance, e.g., plans and key actions, that can significantly improve agent exploration efficiency and acquisition of critical skills. Motivated by these observations, we propose Exploring Expert Failures (EEF), which identifies beneficial actions from failed expert trajectories and integrates them into the training dataset. Potentially harmful actions are meticulously excluded to prevent contamination of the model learning process. By leveraging the beneficial actions in expert failures, EEF successfully solves some previously unsolvable subtasks and improves agent tuning performance. Remarkably, our approach achieved a 62\% win rate in WebShop, outperforming RFT (53. 6\%) and GPT-4 (35. 6\%), and to the best of our knowledge, setting a new state-of-the-art as the first method to surpass a score of 0.81 in WebShop and exceed 81 in SciWorld.