SRPO: Ottimizzazione delle Politiche Auto-Riferita per Modelli Visione-Linguaggio-Azione

Abstract

I modelli Vision-Language-Action (VLA) eccellono nella manipolazione robotica ma sono limitati dalla loro forte dipendenza da dimostrazioni esperte, il che porta a un bias dimostrativo e limita le prestazioni. L'apprendimento per rinforzo (RL) è una strategia cruciale di post-addestramento per superare questi limiti, tuttavia, gli attuali metodi VLA-RL, inclusi gli approcci di ottimizzazione di gruppo, sono ostacolati da una severa sparsità dei reward. L'affidarsi a indicatori binari di successo spreca informazioni preziose nelle traiettorie fallite, risultando in una bassa efficienza di addestramento. Per risolvere questo problema, proponiamo la Self-Referential Policy Optimization (SRPO), un nuovo framework VLA-RL. SRPO elimina la necessità di dimostrazioni esterne o di una progettazione manuale dei reward sfruttando le traiettorie di successo del modello stesso, generate all'interno del batch di addestramento corrente, come autoriferimento. Ciò ci permette di assegnare un reward progressivo ai tentativi falliti. Un'innovazione fondamentale è l'uso di rappresentazioni latenti del mondo per misurare robustamente il progresso comportamentale. Invece di affidarsi a pixel grezzi o richiedere una messa a punto specifica per dominio, utilizziamo le codifiche compresse e trasferibili dallo spazio latente di un modello del mondo. Queste rappresentazioni catturano naturalmente modelli di progresso tra diversi ambienti, consentendo un confronto accurato e generalizzato delle traiettorie. Le valutazioni empiriche sul benchmark LIBERO dimostrano l'efficienza e l'efficacia di SRPO. Partendo da una baseline supervisionata con un successo del 48.9%, SRPO raggiunge un nuovo stato dell'arte con un tasso di successo del 99.2% in sole 200 step di RL, rappresentando un miglioramento relativo del 103% senza alcuna supervisione aggiuntiva. Inoltre, SRPO mostra una sostanziale robustezza, ottenendo un miglioramento delle prestazioni del 167% sul benchmark LIBERO-Plus.

English

Vision-Language-Action (VLA) models excel in robotic manipulation but are constrained by their heavy reliance on expert demonstrations, leading to demonstration bias and limiting performance. Reinforcement learning (RL) is a vital post-training strategy to overcome these limits, yet current VLA-RL methods, including group-based optimization approaches, are crippled by severe reward sparsity. Relying on binary success indicators wastes valuable information in failed trajectories, resulting in low training efficiency. To solve this, we propose Self-Referential Policy Optimization (SRPO), a novel VLA-RL framework. SRPO eliminates the need for external demonstrations or manual reward engineering by leveraging the model's own successful trajectories, generated within the current training batch, as a self-reference. This allows us to assign a progress-wise reward to failed attempts. A core innovation is the use of latent world representations to measure behavioral progress robustly. Instead of relying on raw pixels or requiring domain-specific fine-tuning, we utilize the compressed, transferable encodings from a world model's latent space. These representations naturally capture progress patterns across environments, enabling accurate, generalized trajectory comparison. Empirical evaluations on the LIBERO benchmark demonstrate SRPO's efficiency and effectiveness. Starting from a supervised baseline with 48.9% success, SRPO achieves a new state-of-the-art success rate of 99.2% in just 200 RL steps, representing a 103% relative improvement without any extra supervision. Furthermore, SRPO shows substantial robustness, achieving a 167% performance improvement on the LIBERO-Plus benchmark.

SRPO: Ottimizzazione delle Politiche Auto-Riferita per Modelli Visione-Linguaggio-Azione

SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models

Abstract

Support