SWEET-RL: Entrenamiento de Agentes LLM de Múltiples Turnos en Tareas de Razonamiento Colaborativo

SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks

March 19, 2025

Autores: Yifei Zhou, Song Jiang, Yuandong Tian, Jason Weston, Sergey Levine, Sainbayar Sukhbaatar, Xian Li

cs.AI

Resumen

Los agentes basados en modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) necesitan realizar interacciones de múltiples turnos en tareas del mundo real. Sin embargo, los algoritmos existentes de aprendizaje por refuerzo (RL) para optimizar agentes LLM en múltiples turnos no logran realizar una asignación de crédito efectiva a lo largo de varios turnos mientras aprovechan las capacidades de generalización de los LLM, y sigue sin estar claro cómo desarrollar tales algoritmos. Para estudiar esto, primero presentamos un nuevo punto de referencia, ColBench, donde un agente LLM interactúa con un colaborador humano a lo largo de múltiples turnos para resolver tareas realistas en programación de backend y diseño de frontend. Basándonos en este punto de referencia, proponemos un nuevo algoritmo de RL, SWEET-RL (RL con Evaluación Paso a Paso a partir de información de entrenamiento), que utiliza un objetivo de optimización cuidadosamente diseñado para entrenar un modelo crítico con acceso a información adicional durante el entrenamiento. El crítico proporciona recompensas a nivel de paso para mejorar el modelo de política. Nuestros experimentos demuestran que SWEET-RL logra una mejora absoluta del 6% en las tasas de éxito y victoria en ColBench en comparación con otros algoritmos de RL de múltiples turnos de última generación, permitiendo que Llama-3.1-8B iguale o supere el rendimiento de GPT4-o en la creación colaborativa de contenido realista.

English

Large language model (LLM) agents need to perform multi-turn interactions in real-world tasks. However, existing multi-turn RL algorithms for optimizing LLM agents fail to perform effective credit assignment over multiple turns while leveraging the generalization capabilities of LLMs and it remains unclear how to develop such algorithms. To study this, we first introduce a new benchmark, ColBench, where an LLM agent interacts with a human collaborator over multiple turns to solve realistic tasks in backend programming and frontend design. Building on this benchmark, we propose a novel RL algorithm, SWEET-RL (RL with Step-WisE Evaluation from Training-time information), that uses a carefully designed optimization objective to train a critic model with access to additional training-time information. The critic provides step-level rewards for improving the policy model. Our experiments demonstrate that SWEET-RL achieves a 6% absolute improvement in success and win rates on ColBench compared to other state-of-the-art multi-turn RL algorithms, enabling Llama-3.1-8B to match or exceed the performance of GPT4-o in realistic collaborative content creation.