RLAnything: Gestaltung von Umgebung, Policy und Belohnungsmodell in einem vollständig dynamischen RL-System

RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System

February 2, 2026

papers.authors: Yinjie Wang, Tianbao Xie, Ke Shen, Mengdi Wang, Ling Yang

cs.AI

papers.abstract

Wir stellen RLAnything vor, ein Reinforcement-Learning-Framework, das Umgebungs-, Policy- und Belohnungsmodelle durch Closed-Loop-Optimierung dynamisch formt, Lernsignale verstärkt und das gesamte RL-System für beliebige LLM- oder agentenbasierte Szenarien stärkt. Konkret wird die Policy mit integriertem Feedback aus schrittweisen und ergebnisbasierten Signalen trainiert, während das Belohnungsmodell gemeinsam durch Konsistenzfeedback optimiert wird, was wiederum das Policy-Training weiter verbessert. Darüber hinaus verbessert unsere theoriegestützte automatische Umgebungsanpassung das Training sowohl für die Belohnungs- als auch die Policy-Modelle, indem sie Kritiker-Feedback von beiden nutzt und so Lernen aus Erfahrung ermöglicht. Empirisch führt jede hinzugefügte Komponente konsequent zu Verbesserungen des Gesamtsystems, und RLAnything erzielt substantiale Gewinne über verschiedene repräsentative LLM- und agentenbasierte Aufgaben hinweg – es steigert Qwen3-VL-8B-Thinning um 9,1 % auf OSWorld und Qwen2.5-7B-Instruct um 18,7 % bzw. 11,9 % auf AlfWorld und LiveBench. Wir zeigen auch, dass optimierte Belohnungsmodell-Signale Ergebnisse übertreffen, die auf menschlichen Labels basieren. Code: https://github.com/Gen-Verse/Open-AgentRL

English

We propose RLAnything, a reinforcement learning framework that dynamically forges environment, policy, and reward models through closed-loop optimization, amplifying learning signals and strengthening the overall RL system for any LLM or agentic scenarios. Specifically, the policy is trained with integrated feedback from step-wise and outcome signals, while the reward model is jointly optimized via consistency feedback, which in turn further improves policy training. Moreover, our theory-motivated automatic environment adaptation improves training for both the reward and policy models by leveraging critic feedback from each, enabling learning from experience. Empirically, each added component consistently improves the overall system, and RLAnything yields substantial gains across various representative LLM and agentic tasks, boosting Qwen3-VL-8B-Thinking by 9.1% on OSWorld and Qwen2.5-7B-Instruct by 18.7% and 11.9% on AlfWorld and LiveBench, respectively. We also that optimized reward-model signals outperform outcomes that rely on human labels. Code: https://github.com/Gen-Verse/Open-AgentRL