SWEET-RL: Training van Multi-Turn LLM-Agenten voor Samenwerkende Redeneertaken

SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks

March 19, 2025

Auteurs: Yifei Zhou, Song Jiang, Yuandong Tian, Jason Weston, Sergey Levine, Sainbayar Sukhbaatar, Xian Li

cs.AI

Samenvatting

Grote taalmodellen (LLM) agents moeten in staat zijn om multi-turn interacties uit te voeren in real-world taken. Echter, bestaande multi-turn RL-algoritmen voor het optimaliseren van LLM agents slagen er niet in om effectieve krediettoewijzing over meerdere beurten te realiseren, terwijl ze tegelijkertijd de generalisatiecapaciteiten van LLM's benutten, en het blijft onduidelijk hoe dergelijke algoritmen ontwikkeld kunnen worden. Om dit te bestuderen, introduceren we eerst een nieuwe benchmark, ColBench, waarbij een LLM agent over meerdere beurten interacteert met een menselijke collaborator om realistische taken op het gebied van backend-programmering en frontend-ontwerp op te lossen. Op basis van deze benchmark stellen we een nieuw RL-algoritme voor, SWEET-RL (RL met Step-WisE Evaluation op basis van trainingsinformatie), dat een zorgvuldig ontworpen optimalisatiedoel gebruikt om een critic-model te trainen met toegang tot aanvullende trainingsinformatie. De critic biedt stapniveau beloningen voor het verbeteren van het policy-model. Onze experimenten tonen aan dat SWEET-RL een absolute verbetering van 6% behaalt in succes- en winpercentages op ColBench in vergelijking met andere state-of-the-art multi-turn RL-algoritmen, waardoor Llama-3.1-8B in staat is om de prestaties van GPT4-o te evenaren of te overtreffen in realistische collaboratieve contentcreatie.

English

Large language model (LLM) agents need to perform multi-turn interactions in real-world tasks. However, existing multi-turn RL algorithms for optimizing LLM agents fail to perform effective credit assignment over multiple turns while leveraging the generalization capabilities of LLMs and it remains unclear how to develop such algorithms. To study this, we first introduce a new benchmark, ColBench, where an LLM agent interacts with a human collaborator over multiple turns to solve realistic tasks in backend programming and frontend design. Building on this benchmark, we propose a novel RL algorithm, SWEET-RL (RL with Step-WisE Evaluation from Training-time information), that uses a carefully designed optimization objective to train a critic model with access to additional training-time information. The critic provides step-level rewards for improving the policy model. Our experiments demonstrate that SWEET-RL achieves a 6% absolute improvement in success and win rates on ColBench compared to other state-of-the-art multi-turn RL algorithms, enabling Llama-3.1-8B to match or exceed the performance of GPT4-o in realistic collaborative content creation.