SRPO: Selbstreferenzielle Politikoptimierung für visuell-sprachlich-aktionale Modelle

papers.abstract

Vision-Language-Action (VLA)-Modelle zeichnen sich bei der robotischen Manipulation aus, sind jedoch durch ihre starke Abhängigkeit von Experten-Demonstrationen eingeschränkt, was zu Verzerrungen durch die Demonstrationen führt und die Leistung begrenzt. Reinforcement Learning (RL) ist eine wichtige Nachtrainingsstrategie, um diese Grenzen zu überwinden, doch aktuelle VLA-RL-Methoden, einschließlich gruppenbasierter Optimierungsansätze, werden durch stark spärliche Belohnungssignale behindert. Die Abhängigkeit von binären Erfolgsindikatoren verschwendet wertvolle Informationen in gescheiterten Trajektorien, was zu geringer Trainingseffizienz führt. Um dieses Problem zu lösen, schlagen wir Self-Referential Policy Optimization (SRPO) vor, ein neuartiges VLA-RL-Framework. SRPO eliminiert den Bedarf an externen Demonstrationen oder manueller Belohnungsmodellierung, indem es die eigenen erfolgreichen Trajektorien des Modells, die im aktuellen Trainingsbatch generiert werden, als Selbstreferenz nutzt. Dies ermöglicht es uns, gescheiterten Versuchen eine fortschrittsabhängige Belohnung zuzuweisen. Eine zentrale Innovation ist die Verwendung latenter Weltrepräsentationen, um das Verhaltensfortschritt robust zu messen. Anstatt auf Rohpixel angewiesen zu sein oder domainspezifisches Fine-Tuning zu erfordern, nutzen wir die komprimierten, übertragbaren Kodierungen aus dem latenten Raum eines Weltmodells. Diese Repräsentationen erfassen natürlicherweise Fortschrittsmuster über verschiedene Umgebungen hinweg und ermöglichen so einen genauen, generalisierten Trajektorienvergleich. Empirische Auswertungen auf dem LIBERO-Benchmark demonstrieren die Effizienz und Wirksamkeit von SRPO. Ausgehend von einer überwachten Baseline mit 48,9 % Erfolgsrate erreicht SRPO in nur 200 RL-Schritten eine neue state-of-the-art Erfolgsrate von 99,2 %, was einer relativen Verbesserung von 103 % ohne jegliche zusätzliche Überwachung entspricht. Darüber hinaus zeigt SRPO eine beträchtliche Robustheit und erzielt eine Leistungssteigerung von 167 % auf dem LIBERO-Plus-Benchmark.

English

Vision-Language-Action (VLA) models excel in robotic manipulation but are constrained by their heavy reliance on expert demonstrations, leading to demonstration bias and limiting performance. Reinforcement learning (RL) is a vital post-training strategy to overcome these limits, yet current VLA-RL methods, including group-based optimization approaches, are crippled by severe reward sparsity. Relying on binary success indicators wastes valuable information in failed trajectories, resulting in low training efficiency. To solve this, we propose Self-Referential Policy Optimization (SRPO), a novel VLA-RL framework. SRPO eliminates the need for external demonstrations or manual reward engineering by leveraging the model's own successful trajectories, generated within the current training batch, as a self-reference. This allows us to assign a progress-wise reward to failed attempts. A core innovation is the use of latent world representations to measure behavioral progress robustly. Instead of relying on raw pixels or requiring domain-specific fine-tuning, we utilize the compressed, transferable encodings from a world model's latent space. These representations naturally capture progress patterns across environments, enabling accurate, generalized trajectory comparison. Empirical evaluations on the LIBERO benchmark demonstrate SRPO's efficiency and effectiveness. Starting from a supervised baseline with 48.9% success, SRPO achieves a new state-of-the-art success rate of 99.2% in just 200 RL steps, representing a 103% relative improvement without any extra supervision. Furthermore, SRPO shows substantial robustness, achieving a 167% performance improvement on the LIBERO-Plus benchmark.

SRPO: Selbstreferenzielle Politikoptimierung für visuell-sprachlich-aktionale Modelle

SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models

papers.abstract

Support