Reforçando Políticas de Ação por meio da Profecia
Reinforcing Action Policies by Prophesying
November 25, 2025
Autores: Jiahui Zhang, Ze Huang, Chun Gu, Zipei Ma, Li Zhang
cs.AI
Resumo
As políticas Visão-Linguagem-Ação (VLA) se destacam no alinhamento entre linguagem, percepção e controle robótico. No entanto, a maioria das VLAs é treinada puramente por imitação, o que leva a um sobreajuste às demonstrações e resulta em fragilidade sob mudanças de distribuição. O aprendizado por reforço (RL) otimiza diretamente a recompensa da tarefa, abordando assim esse desalinhamento, mas a interação com robôs reais é dispendiosa e os simuladores convencionais são de difícil engenharia e transferência. Nós abordamos tanto a eficiência de dados quanto a estabilidade de otimização no pós-treinamento de VLA por meio de um modelo de mundo aprendido e de um procedimento de RL adaptado a cabeças de ação baseadas em fluxo. Especificamente, introduzimos o Prophet, uma unificação de atuação robótica de ação-para-vídeo pré-treinada em dados robóticos heterogêneos e em larga escala para aprender dinâmicas reutilizáveis de ação-resultado. Ele é capaz de se adaptar com poucos exemplos a novos robôs, objetos e ambientes, produzindo um simulador pronto para execução. Sobre o Prophet, reforçamos as políticas de ação com o FA-GRPO (Flow-action-GRPO), que adapta o Flow-GRPO para operar em ações VLA, e com o FlowScale, uma re-ponderação passo a passo que redimensiona os gradientes por passo no cabeçote de fluxo. Juntos, Prophet, FA-GRPO e FlowScale constituem o ProphRL, um caminho prático, eficiente em dados e computação para o pós-treinamento de VLA. Experimentos mostram ganhos de sucesso de 5-17% em benchmarks públicos e de 24-30% em robôs reais em diferentes variantes de VLA.
English
Vision-Language-Action (VLA) policies excel in aligning language, perception, and robot control. However, most VLAs are trained purely by imitation, which overfits to demonstrations, and is brittle under distribution shift. Reinforcement learning (RL) directly optimizes task reward and thus addresses this misalignment, but real-robot interaction is expensive and conventional simulators are hard to engineer and transfer. We address both data efficiency and optimization stability in VLA post-training via a learned world model and an RL procedure tailored to flow-based action heads. Specifically, we introduce Prophet, a unified action-to-video robot actuation pretrained across large-scale, heterogeneous robot data to learn reusable action-outcome dynamics. It is able to few-shot adapt to new robots, objects, and environments, yielding a rollout-ready simulator. Upon Prophet, we reinforce action policies with Flow-action-GRPO (FA-GRPO), which adapts Flow-GRPO to operate on VLA actions, and with FlowScale, a stepwise reweighting that rescales per-step gradients in the flow head. Together, Prophet, FA-GRPO, and FlowScale constitute ProphRL, a practical, data- and compute-efficient path to VLA post-training. Experiments show 5-17% success gains on public benchmarks and 24-30% gains on real robots across different VLA variants.