ProRL Agent: сервис Rollout-as-a-Service для RL-обучения многоходовых LLM-агентов

ProRL Agent: Rollout-as-a-Service for RL Training of Multi-Turn LLM Agents

March 19, 2026

Авторы: Hao Zhang, Mingjie Liu, Shaokun Zhang, Songyang Han, Jian Hu, Zhenghui Jin, Yuchi Zhang, Shizhe Diao, Ximing Lu, Binfeng Xu, Zhiding Yu, Jan Kautz, Yi Dong

cs.AI

Аннотация

Многошаговые LLM-агенты приобретают все большее значение для решения сложных интерактивных задач, а обучение с подкреплением (RL) является ключевым инструментом для улучшения их поведения на длительных горизонтах планирования. Однако обучение RL требует генерации большого количества изолированных траекторий прогонов, а существующие инфраструктуры часто связывают оркестрацию прогонов с циклом обучения, что затрудняет миграцию и поддержку систем. В соответствии с философией «прогон-как-услуга» мы представляем **ProRL Agent** — масшташируемую инфраструктуру, которая предоставляет полный жизненный цикл агентских прогонов через API-сервис. ProRL Agent также предоставляет стандартизированные и расширяемые изолированные среды, поддерживающие разнообразные агентские задачи в HPC-средах без прав root. Мы проверяем эффективность ProRL Agent путем RL-обучения на задачах из областей разработки программного обеспечения, математики, STEM и программирования. ProRL Agent имеет открытый исходный код и интегрирован в состав NVIDIA NeMo Gym.

English

Multi-turn LLM agents are increasingly important for solving complex, interactive tasks, and reinforcement learning (RL) is a key ingredient for improving their long-horizon behavior. However, RL training requires generating large numbers of sandboxed rollout trajectories, and existing infrastructures often couple rollout orchestration with the training loop, making systems hard to migrate and maintain. Under the rollout-as-a-service philosophy, we present ProRL Agent , a scalable infrastructure that serves the full agentic rollout lifecycle through an API service. ProRL Agent also provides standardized and extensible sandbox environments that support diverse agentic tasks in rootless HPC settings. We validate ProRL Agent through RL training on software engineering, math, STEM, and coding tasks. ProRL Agent is open-sourced and integrated as part of NVIDIA NeMo Gym.