SWEET-RL: Addestramento di Agenti LLM Multi-Turn su Compiti di Ragionamento Collaborativo

SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks

March 19, 2025

Autori: Yifei Zhou, Song Jiang, Yuandong Tian, Jason Weston, Sergey Levine, Sainbayar Sukhbaatar, Xian Li

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) devono eseguire interazioni multi-turn nei compiti del mondo reale. Tuttavia, gli algoritmi esistenti di reinforcement learning (RL) multi-turn per ottimizzare gli agenti LLM non riescono a eseguire un'assegnazione efficace del credito su più turni sfruttando le capacità di generalizzazione degli LLM, e rimane poco chiaro come sviluppare tali algoritmi. Per studiare questo problema, introduciamo prima un nuovo benchmark, ColBench, in cui un agente LLM interagisce con un collaboratore umano su più turni per risolvere compiti realistici nella programmazione backend e nel design frontend. Basandoci su questo benchmark, proponiamo un nuovo algoritmo di RL, SWEET-RL (RL con valutazione passo-passo basata su informazioni di addestramento), che utilizza un obiettivo di ottimizzazione accuratamente progettato per addestrare un modello critico con accesso a informazioni aggiuntive durante l'addestramento. Il critico fornisce ricompense a livello di passo per migliorare il modello di policy. I nostri esperimenti dimostrano che SWEET-RL ottiene un miglioramento assoluto del 6% nei tassi di successo e vittoria su ColBench rispetto ad altri algoritmi multi-turn RL all'avanguardia, consentendo a Llama-3.1-8B di eguagliare o superare le prestazioni di GPT4-o nella creazione collaborativa di contenuti realistici.

English

Large language model (LLM) agents need to perform multi-turn interactions in real-world tasks. However, existing multi-turn RL algorithms for optimizing LLM agents fail to perform effective credit assignment over multiple turns while leveraging the generalization capabilities of LLMs and it remains unclear how to develop such algorithms. To study this, we first introduce a new benchmark, ColBench, where an LLM agent interacts with a human collaborator over multiple turns to solve realistic tasks in backend programming and frontend design. Building on this benchmark, we propose a novel RL algorithm, SWEET-RL (RL with Step-WisE Evaluation from Training-time information), that uses a carefully designed optimization objective to train a critic model with access to additional training-time information. The critic provides step-level rewards for improving the policy model. Our experiments demonstrate that SWEET-RL achieves a 6% absolute improvement in success and win rates on ColBench compared to other state-of-the-art multi-turn RL algorithms, enabling Llama-3.1-8B to match or exceed the performance of GPT4-o in realistic collaborative content creation.