RLAnything: Forge de Entornos, Políticas y Modelos de Recompensa en un Sistema de RL Completamente Dinámico

RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System

February 2, 2026

Autores: Yinjie Wang, Tianbao Xie, Ke Shen, Mengdi Wang, Ling Yang

cs.AI

Resumen

Proponemos RLAnything, un marco de aprendizaje por refuerzo que forja dinámicamente modelos de entorno, política y recompensa mediante optimización en bucle cerrado, amplificando las señales de aprendizaje y fortaleciendo el sistema global de RL para cualquier escenario de LLM o agentes. Específicamente, la política se entrena con retroalimentación integrada de señales paso a paso y de resultado, mientras que el modelo de recompensa se optimiza conjuntamente mediante retroalimentación de consistencia, lo que a su vez mejora aún más el entrenamiento de la política. Además, nuestra adaptación automática del entorno, motivada teóricamente, mejora el entrenamiento tanto de los modelos de recompensa como de política aprovechando la retroalimentación del crítico de cada uno, permitiendo el aprendizaje a partir de la experiencia. Empíricamente, cada componente añadido mejora consistentemente el sistema general, y RLAnything produce ganancias sustanciales en varias tareas representativas de LLM y agentes, aumentando Qwen3-VL-8B-Thinking en un 9.1% en OSWorld y Qwen2.5-7B-Instruct en un 18.7% y 11.9% en AlfWorld y LiveBench, respectivamente. También demostramos que las señales del modelo de recompensa optimizado superan a los resultados que dependen de etiquetas humanas. Código: https://github.com/Gen-Verse/Open-AgentRL

English

We propose RLAnything, a reinforcement learning framework that dynamically forges environment, policy, and reward models through closed-loop optimization, amplifying learning signals and strengthening the overall RL system for any LLM or agentic scenarios. Specifically, the policy is trained with integrated feedback from step-wise and outcome signals, while the reward model is jointly optimized via consistency feedback, which in turn further improves policy training. Moreover, our theory-motivated automatic environment adaptation improves training for both the reward and policy models by leveraging critic feedback from each, enabling learning from experience. Empirically, each added component consistently improves the overall system, and RLAnything yields substantial gains across various representative LLM and agentic tasks, boosting Qwen3-VL-8B-Thinking by 9.1% on OSWorld and Qwen2.5-7B-Instruct by 18.7% and 11.9% on AlfWorld and LiveBench, respectively. We also that optimized reward-model signals outperform outcomes that rely on human labels. Code: https://github.com/Gen-Verse/Open-AgentRL