SRPO: Самореферентная оптимизация политик для моделей "зрение-язык-действие"

Аннотация

Модели «Vision-Language-Action» (VLA) демонстрируют высокую эффективность в задачах роботизированного манипулирования, однако их возможности ограничены сильной зависимостью от экспертных демонстраций, что приводит к смещению в сторону демонстрационных данных и снижает общую производительность. Обучение с подкреплением (RL) является ключевой стратегией пост-обучения для преодоления этих ограничений, однако современные методы VLA-RL, включая подходы на основе групповой оптимизации, страдают от сильной разреженности вознаграждений. Опора на бинарные индикаторы успеха приводит к потере ценной информации из неудачных траекторий и низкой эффективности обучения. Для решения этой проблемы мы предлагаем Self-Referential Policy Optimization (SRPO) — новую RL-структуру для VLA-моделей. SRPO устраняет необходимость во внешних демонстрациях или ручном проектировании вознаграждений, используя успешные траектории самой модели, сгенерированные в рамках текущей обучающей выборки, в качестве самореференции. Это позволяет назначать прогрессивное вознаграждение для неудачных попыток. Ключевым нововведением является использование латентных представлений мира для робастной оценки поведенческого прогресса. Вместо reliance на сырые пиксели или необходимости доменно-специфичной донастройки мы используем сжатые, переносимые кодировки из латентного пространства модели мира. Эти представления естественным образом capture закономерности прогресса в различных средах, обеспечивая точное и обобщённое сравнение траекторий. Эмпирические оценки на бенчмарке LIBERO подтверждают эффективность SRPO. Начиная с базового supervised-уровня в 48.9% успеха, SRPO достигает нового state-of-the-art результата в 99.2% успеха всего за 200 шагов RL, что соответствует относительному улучшению на 103% без какого-либо дополнительного контроля. Кроме того, SRPO демонстрирует значительную робастность, улучшая производительность на 167% в бенчмарке LIBERO-Plus.

English

Vision-Language-Action (VLA) models excel in robotic manipulation but are constrained by their heavy reliance on expert demonstrations, leading to demonstration bias and limiting performance. Reinforcement learning (RL) is a vital post-training strategy to overcome these limits, yet current VLA-RL methods, including group-based optimization approaches, are crippled by severe reward sparsity. Relying on binary success indicators wastes valuable information in failed trajectories, resulting in low training efficiency. To solve this, we propose Self-Referential Policy Optimization (SRPO), a novel VLA-RL framework. SRPO eliminates the need for external demonstrations or manual reward engineering by leveraging the model's own successful trajectories, generated within the current training batch, as a self-reference. This allows us to assign a progress-wise reward to failed attempts. A core innovation is the use of latent world representations to measure behavioral progress robustly. Instead of relying on raw pixels or requiring domain-specific fine-tuning, we utilize the compressed, transferable encodings from a world model's latent space. These representations naturally capture progress patterns across environments, enabling accurate, generalized trajectory comparison. Empirical evaluations on the LIBERO benchmark demonstrate SRPO's efficiency and effectiveness. Starting from a supervised baseline with 48.9% success, SRPO achieves a new state-of-the-art success rate of 99.2% in just 200 RL steps, representing a 103% relative improvement without any extra supervision. Furthermore, SRPO shows substantial robustness, achieving a 167% performance improvement on the LIBERO-Plus benchmark.

SRPO: Самореферентная оптимизация политик для моделей "зрение-язык-действие"

SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models

Аннотация

Support