RLAnything: Omgeving, Beleid en Beloningsmodel Smeden in een Volledig Dynamisch RL-systeem

RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System

February 2, 2026

Auteurs: Yinjie Wang, Tianbao Xie, Ke Shen, Mengdi Wang, Ling Yang

cs.AI

Samenvatting

Wij presenteren RLAnything, een reinforcement learning-framework dat dynamisch omgevings-, beleids- en beloningsmodellen smeedt door middel van gesloten-lus optimalisatie. Dit versterkt de leer-signalen en versterkt het algehele RL-systeem voor elke LLM of agent-gebaseerde scenario. Specifiek wordt het beleid getraind met geïntegreerde feedback van stap-voor-stap- en resultaatsignalen, terwijl het beloningsmodel gezamenlijk wordt geoptimaliseerd via consistentie-feedback, wat op zijn beurt de beleidstraining verder verbetert. Bovendien verbetert onze theoretisch gemotiveerde automatische omgevingsaanpassing de training voor zowel de belonings- als beleidsmodellen door gebruik te maken van critic-feedback van elk, waardoor leren door ervaring mogelijk wordt. Empirisch gezien verbetert elke toegevoegde component consistent het algehele systeem, en levert RLAnything substantiële winsten op in diverse representatieve LLM- en agent-taken. Het boost Qwen3-VL-8B-Thinking met 9,1% op OSWorld en Qwen2.5-7B-Instruct met respectievelijk 18,7% en 11,9% op AlfWorld en LiveBench. Wij tonen ook aan dat geoptimaliseerde beloningsmodelsignalen presteren beter dan uitkomsten die afhankelijk zijn van menselijke labels. Code: https://github.com/Gen-Verse/Open-AgentRL

English

We propose RLAnything, a reinforcement learning framework that dynamically forges environment, policy, and reward models through closed-loop optimization, amplifying learning signals and strengthening the overall RL system for any LLM or agentic scenarios. Specifically, the policy is trained with integrated feedback from step-wise and outcome signals, while the reward model is jointly optimized via consistency feedback, which in turn further improves policy training. Moreover, our theory-motivated automatic environment adaptation improves training for both the reward and policy models by leveraging critic feedback from each, enabling learning from experience. Empirically, each added component consistently improves the overall system, and RLAnything yields substantial gains across various representative LLM and agentic tasks, boosting Qwen3-VL-8B-Thinking by 9.1% on OSWorld and Qwen2.5-7B-Instruct by 18.7% and 11.9% on AlfWorld and LiveBench, respectively. We also that optimized reward-model signals outperform outcomes that rely on human labels. Code: https://github.com/Gen-Verse/Open-AgentRL