SWEET-RL: Обучение многоходовых агентов на основе больших языковых моделей для задач совместного рассуждения

SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks

March 19, 2025

Авторы: Yifei Zhou, Song Jiang, Yuandong Tian, Jason Weston, Sergey Levine, Sainbayar Sukhbaatar, Xian Li

cs.AI

Аннотация

Агенты на основе больших языковых моделей (LLM) должны выполнять многоходовые взаимодействия в реальных задачах. Однако существующие многоходовые алгоритмы обучения с подкреплением (RL) для оптимизации агентов LLM не способны эффективно распределять кредит за действия на протяжении нескольких шагов, одновременно используя обобщающие способности LLM, и остается неясным, как разработать такие алгоритмы. Для изучения этой проблемы мы сначала представляем новый бенчмарк, ColBench, в котором агент LLM взаимодействует с человеком-коллегой на протяжении нескольких шагов для решения реалистичных задач в бэкенд-программировании и фронтенд-дизайне. На основе этого бенчмарка мы предлагаем новый алгоритм RL, SWEET-RL (RL с пошаговой оценкой на основе обучающей информации), который использует тщательно разработанную целевую функцию для обучения модели критика с доступом к дополнительной информации, доступной во время обучения. Критик предоставляет пошаговые награды для улучшения модели политики. Наши эксперименты показывают, что SWEET-RL достигает абсолютного улучшения на 6% в показателях успеха и выигрыша на ColBench по сравнению с другими современными многоходовыми алгоритмами RL, позволяя модели Llama-3.1-8B соответствовать или превосходить производительность GPT4-o в реалистичных задачах совместного создания контента.

English

Large language model (LLM) agents need to perform multi-turn interactions in real-world tasks. However, existing multi-turn RL algorithms for optimizing LLM agents fail to perform effective credit assignment over multiple turns while leveraging the generalization capabilities of LLMs and it remains unclear how to develop such algorithms. To study this, we first introduce a new benchmark, ColBench, where an LLM agent interacts with a human collaborator over multiple turns to solve realistic tasks in backend programming and frontend design. Building on this benchmark, we propose a novel RL algorithm, SWEET-RL (RL with Step-WisE Evaluation from Training-time information), that uses a carefully designed optimization objective to train a critic model with access to additional training-time information. The critic provides step-level rewards for improving the policy model. Our experiments demonstrate that SWEET-RL achieves a 6% absolute improvement in success and win rates on ColBench compared to other state-of-the-art multi-turn RL algorithms, enabling Llama-3.1-8B to match or exceed the performance of GPT4-o in realistic collaborative content creation.