RLAnything : Forger l'Environnement, la Politique et le Modèle de Récompense dans un Système RL Entièrement Dynamique
RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System
February 2, 2026
papers.authors: Yinjie Wang, Tianbao Xie, Ke Shen, Mengdi Wang, Ling Yang
cs.AI
papers.abstract
Nous proposons RLAnything, un cadre d'apprentissage par renforcement qui forge dynamiquement les modèles d'environnement, de politique et de récompense par une optimisation en boucle fermée, amplifiant les signaux d'apprentissage et renforçant le système RL global pour tout scénario LLM ou agentique. Concrètement, la politique est entraînée avec un retour intégré combinant des signaux pas-à-pas et des signaux de résultat, tandis que le modèle de récompense est optimisé conjointement via un retour de cohérence, ce qui améliore à son tour l'entraînement de la politique. De plus, notre adaptation automatique de l'environnement, motivée théoriquement, améliore l'entraînement des modèles de récompense et de politique en exploitant le retour critique de chacun, permettant l'apprentissage par l'expérience. Empiriquement, chaque composant ajouté améliore constamment le système global, et RLAnything apporte des gains substantiels sur diverses tâches représentatives LLM et agentiques, augmentant les performances de Qwen3-VL-8B-Thinking de 9,1% sur OSWorld et celles de Qwen2.5-7B-Instruct de 18,7% et 11,9% respectivement sur AlfWorld et LiveBench. Nous montrons également que les signaux du modèle de récompense optimisé surpassent les résultats qui reposent sur des annotations humaines. Code : https://github.com/Gen-Verse/Open-AgentRL
English
We propose RLAnything, a reinforcement learning framework that dynamically forges environment, policy, and reward models through closed-loop optimization, amplifying learning signals and strengthening the overall RL system for any LLM or agentic scenarios. Specifically, the policy is trained with integrated feedback from step-wise and outcome signals, while the reward model is jointly optimized via consistency feedback, which in turn further improves policy training. Moreover, our theory-motivated automatic environment adaptation improves training for both the reward and policy models by leveraging critic feedback from each, enabling learning from experience. Empirically, each added component consistently improves the overall system, and RLAnything yields substantial gains across various representative LLM and agentic tasks, boosting Qwen3-VL-8B-Thinking by 9.1% on OSWorld and Qwen2.5-7B-Instruct by 18.7% and 11.9% on AlfWorld and LiveBench, respectively. We also that optimized reward-model signals outperform outcomes that rely on human labels. Code: https://github.com/Gen-Verse/Open-AgentRL