SWEET-RL : Entraînement d'agents LLM multi-tours pour des tâches de raisonnement collaboratif

SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks

March 19, 2025

Auteurs: Yifei Zhou, Song Jiang, Yuandong Tian, Jason Weston, Sergey Levine, Sainbayar Sukhbaatar, Xian Li

cs.AI

Résumé

Les agents de modèles de langage de grande taille (LLM) doivent effectuer des interactions multi-tours dans des tâches du monde réel. Cependant, les algorithmes existants de RL (Apprentissage par Renforcement) multi-tours pour optimiser les agents LLM échouent à effectuer une attribution de crédit efficace sur plusieurs tours tout en exploitant les capacités de généralisation des LLM, et il reste incertain comment développer de tels algorithmes. Pour étudier cela, nous introduisons d'abord un nouveau benchmark, ColBench, où un agent LLM interagit avec un collaborateur humain sur plusieurs tours pour résoudre des tâches réalistes en programmation backend et en conception frontend. En nous appuyant sur ce benchmark, nous proposons un nouvel algorithme de RL, SWEET-RL (RL avec Évaluation Étape par Étape à partir des informations d'entraînement), qui utilise un objectif d'optimisation soigneusement conçu pour entraîner un modèle critique avec accès à des informations supplémentaires pendant l'entraînement. Le critique fournit des récompenses au niveau des étapes pour améliorer le modèle de politique. Nos expériences démontrent que SWEET-RL obtient une amélioration absolue de 6 % en termes de taux de succès et de victoires sur ColBench par rapport à d'autres algorithmes de RL multi-tours de pointe, permettant à Llama-3.1-8B de rivaliser ou de surpasser les performances de GPT4-o dans la création collaborative de contenu réaliste.

English

Large language model (LLM) agents need to perform multi-turn interactions in real-world tasks. However, existing multi-turn RL algorithms for optimizing LLM agents fail to perform effective credit assignment over multiple turns while leveraging the generalization capabilities of LLMs and it remains unclear how to develop such algorithms. To study this, we first introduce a new benchmark, ColBench, where an LLM agent interacts with a human collaborator over multiple turns to solve realistic tasks in backend programming and frontend design. Building on this benchmark, we propose a novel RL algorithm, SWEET-RL (RL with Step-WisE Evaluation from Training-time information), that uses a carefully designed optimization objective to train a critic model with access to additional training-time information. The critic provides step-level rewards for improving the policy model. Our experiments demonstrate that SWEET-RL achieves a 6% absolute improvement in success and win rates on ColBench compared to other state-of-the-art multi-turn RL algorithms, enabling Llama-3.1-8B to match or exceed the performance of GPT4-o in realistic collaborative content creation.