SRPO: Otimização de Políticas Autorreferenciais para Modelos Visão-Linguagem-Ação

Resumo

Os modelos Visão-Linguagem-Ação (VLA) destacam-se na manipulação robótica, mas são limitados pela sua forte dependência de demonstrações especializadas, o que leva a um viés demonstrativo e restringe o desempenho. O aprendizado por reforço (RL) é uma estratégia vital de pós-treinamento para superar esses limites, porém os métodos atuais de VLA-RL, incluindo abordagens de otimização baseadas em grupos, são prejudicados por uma severa esparsidade de recompensa. Depender de indicadores binários de sucesso desperdiça informações valiosas em trajetórias fracassadas, resultando em baixa eficiência de treinamento. Para resolver isso, propomos a Otimização de Política Autorreferencial (SRPO), uma nova estrutura VLA-RL. A SRPO elimina a necessidade de demonstrações externas ou engenharia manual de recompensas, aproveitando as próprias trajetórias bem-sucedidas do modelo, geradas no lote de treinamento atual, como uma autorreferência. Isso nos permite atribuir uma recompensa progressiva a tentativas fracassadas. Uma inovação central é o uso de representações latentes do mundo para medir o progresso comportamental de forma robusta. Em vez de depender de pixels brutos ou exigir ajuste fino específico de domínio, utilizamos as codificações compactas e transferíveis do espaço latente de um modelo mundial. Essas representações capturam naturalmente padrões de progresso entre ambientes, permitindo uma comparação precisa e generalizada de trajetórias. Avaliações empíricas no benchmark LIBERO demonstram a eficiência e eficácia da SRPO. Partindo de uma linha de base supervisionada com 48,9% de sucesso, a SRPO alcança uma nova taxa de sucesso state-of-the-art de 99,2% em apenas 200 passos de RL, representando uma melhoria relativa de 103% sem qualquer supervisão extra. Além disso, a SRPO mostra substancial robustez, alcançando uma melhoria de desempenho de 167% no benchmark LIBERO-Plus.

English

Vision-Language-Action (VLA) models excel in robotic manipulation but are constrained by their heavy reliance on expert demonstrations, leading to demonstration bias and limiting performance. Reinforcement learning (RL) is a vital post-training strategy to overcome these limits, yet current VLA-RL methods, including group-based optimization approaches, are crippled by severe reward sparsity. Relying on binary success indicators wastes valuable information in failed trajectories, resulting in low training efficiency. To solve this, we propose Self-Referential Policy Optimization (SRPO), a novel VLA-RL framework. SRPO eliminates the need for external demonstrations or manual reward engineering by leveraging the model's own successful trajectories, generated within the current training batch, as a self-reference. This allows us to assign a progress-wise reward to failed attempts. A core innovation is the use of latent world representations to measure behavioral progress robustly. Instead of relying on raw pixels or requiring domain-specific fine-tuning, we utilize the compressed, transferable encodings from a world model's latent space. These representations naturally capture progress patterns across environments, enabling accurate, generalized trajectory comparison. Empirical evaluations on the LIBERO benchmark demonstrate SRPO's efficiency and effectiveness. Starting from a supervised baseline with 48.9% success, SRPO achieves a new state-of-the-art success rate of 99.2% in just 200 RL steps, representing a 103% relative improvement without any extra supervision. Furthermore, SRPO shows substantial robustness, achieving a 167% performance improvement on the LIBERO-Plus benchmark.

SRPO: Otimização de Políticas Autorreferenciais para Modelos Visão-Linguagem-Ação

SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models

Resumo

Support