RLAnything: Формирование окружения, политики и модели вознаграждения в полностью динамической системе обучения с подкреплением

RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System

February 2, 2026

Авторы: Yinjie Wang, Tianbao Xie, Ke Shen, Mengdi Wang, Ling Yang

cs.AI

Аннотация

Мы представляем RLAnything — фреймворк обучения с подкреплением, который динамически формирует модели среды, политики и вознаграждения посредством замкнутой оптимизации, усиливая обучающие сигналы и укрепляя общую систему RL для любых сценариев с большими языковыми моделями (LLM) или агентами. В частности, политика обучается с интегрированной обратной связью от пошаговых и результирующих сигналов, в то время как модель вознаграждения совместно оптимизируется через согласованную обратную связь, что, в свою очередь, дополнительно улучшает обучение политики. Более того, наша теоретически обоснованная автоматическая адаптация среды улучшает обучение как моделей вознаграждения, так и политик, используя критическую обратную связь от каждой из них, что позволяет обучаться на основе опыта. Экспериментально показано, что каждый добавленный компонент последовательно улучшает общую систему, и RLAnything обеспечивает существенный прирост производительности в различных репрезентативных задачах для LLM и агентов: повышение показателей Qwen3-VL-8B-Thinking на 9,1% на OSWorld, а Qwen2.5-7B-Instruct — на 18,7% и 11,9% на AlfWorld и LiveBench соответственно. Мы также демонстрируем, что оптимизированные сигналы модели вознаграждения превосходят результаты, основанные на человеческих разметках. Код: https://github.com/Gen-Verse/Open-AgentRL

English

We propose RLAnything, a reinforcement learning framework that dynamically forges environment, policy, and reward models through closed-loop optimization, amplifying learning signals and strengthening the overall RL system for any LLM or agentic scenarios. Specifically, the policy is trained with integrated feedback from step-wise and outcome signals, while the reward model is jointly optimized via consistency feedback, which in turn further improves policy training. Moreover, our theory-motivated automatic environment adaptation improves training for both the reward and policy models by leveraging critic feedback from each, enabling learning from experience. Empirically, each added component consistently improves the overall system, and RLAnything yields substantial gains across various representative LLM and agentic tasks, boosting Qwen3-VL-8B-Thinking by 9.1% on OSWorld and Qwen2.5-7B-Instruct by 18.7% and 11.9% on AlfWorld and LiveBench, respectively. We also that optimized reward-model signals outperform outcomes that rely on human labels. Code: https://github.com/Gen-Verse/Open-AgentRL