RLAnything: Forge de Ambiente, Política e Modelo de Recompensa em um Sistema de RL Completamente Dinâmico

RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System

February 2, 2026

Autores: Yinjie Wang, Tianbao Xie, Ke Shen, Mengdi Wang, Ling Yang

cs.AI

Resumo

Propomos o RLAnything, uma estrutura de aprendizagem por reforço que forja dinamicamente modelos de ambiente, política e recompensa através de otimização em ciclo fechado, amplificando sinais de aprendizagem e fortalecendo o sistema global de RL para quaisquer cenários de LLM ou agentes inteligentes. Especificamente, a política é treinada com feedback integrado de sinais passo a passo e de resultado, enquanto o modelo de recompensa é otimizado conjuntamente via feedback de consistência, o que por sua vez melhora ainda mais o treino da política. Adicionalmente, a nossa adaptação automática de ambiente, fundamentada teoricamente, melhora o treino tanto dos modelos de recompensa como de política, aproveitando o feedback do crítico de cada um, permitindo a aprendizagem pela experiência. Empiricamente, cada componente adicionado melhora consistentemente o sistema global, e o RLAnything produz ganhos substanciais em várias tarefas representativas de LLM e agentes, aumentando o Qwen3-VL-8B-Thinking em 9.1% no OSWorld e o Qwen2.5-7B-Instruct em 18.7% e 11.9% no AlfWorld e LiveBench, respetivamente. Também verificamos que os sinais do modelo de recompensa otimizado superam resultados que dependem de rótulos humanos. Código: https://github.com/Gen-Verse/Open-AgentRL

English

We propose RLAnything, a reinforcement learning framework that dynamically forges environment, policy, and reward models through closed-loop optimization, amplifying learning signals and strengthening the overall RL system for any LLM or agentic scenarios. Specifically, the policy is trained with integrated feedback from step-wise and outcome signals, while the reward model is jointly optimized via consistency feedback, which in turn further improves policy training. Moreover, our theory-motivated automatic environment adaptation improves training for both the reward and policy models by leveraging critic feedback from each, enabling learning from experience. Empirically, each added component consistently improves the overall system, and RLAnything yields substantial gains across various representative LLM and agentic tasks, boosting Qwen3-VL-8B-Thinking by 9.1% on OSWorld and Qwen2.5-7B-Instruct by 18.7% and 11.9% on AlfWorld and LiveBench, respectively. We also that optimized reward-model signals outperform outcomes that rely on human labels. Code: https://github.com/Gen-Verse/Open-AgentRL