SWEET-RL: Treinando Agentes de LLM para Raciocínio Colaborativo em Tarefas de Múltiplos Turnos

SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks

March 19, 2025

Autores: Yifei Zhou, Song Jiang, Yuandong Tian, Jason Weston, Sergey Levine, Sainbayar Sukhbaatar, Xian Li

cs.AI

Resumo

Agentes de modelos de linguagem de grande escala (LLM) precisam realizar interações multi-turn em tarefas do mundo real. No entanto, os algoritmos existentes de RL (Reinforcement Learning) multi-turn para otimizar agentes LLM falham em realizar uma atribuição de crédito eficaz ao longo de múltiplos turnos, ao mesmo tempo em que aproveitam as capacidades de generalização dos LLMs, e ainda não está claro como desenvolver tais algoritmos. Para estudar isso, primeiro introduzimos um novo benchmark, ColBench, onde um agente LLM interage com um colaborador humano ao longo de múltiplos turnos para resolver tarefas realistas em programação de backend e design de frontend. Com base nesse benchmark, propomos um novo algoritmo de RL, SWEET-RL (RL com Avaliação Passo a Passo a partir de informações de treinamento), que utiliza um objetivo de otimização cuidadosamente projetado para treinar um modelo crítico com acesso a informações adicionais do tempo de treinamento. O crítico fornece recompensas em nível de passo para melhorar o modelo de política. Nossos experimentos demonstram que o SWEET-RL alcança uma melhoria absoluta de 6% nas taxas de sucesso e vitória no ColBench em comparação com outros algoritmos de RL multi-turn state-of-the-art, permitindo que o Llama-3.1-8B iguale ou supere o desempenho do GPT4-o na criação colaborativa de conteúdo realista.

English

Large language model (LLM) agents need to perform multi-turn interactions in real-world tasks. However, existing multi-turn RL algorithms for optimizing LLM agents fail to perform effective credit assignment over multiple turns while leveraging the generalization capabilities of LLMs and it remains unclear how to develop such algorithms. To study this, we first introduce a new benchmark, ColBench, where an LLM agent interacts with a human collaborator over multiple turns to solve realistic tasks in backend programming and frontend design. Building on this benchmark, we propose a novel RL algorithm, SWEET-RL (RL with Step-WisE Evaluation from Training-time information), that uses a carefully designed optimization objective to train a critic model with access to additional training-time information. The critic provides step-level rewards for improving the policy model. Our experiments demonstrate that SWEET-RL achieves a 6% absolute improvement in success and win rates on ColBench compared to other state-of-the-art multi-turn RL algorithms, enabling Llama-3.1-8B to match or exceed the performance of GPT4-o in realistic collaborative content creation.