Interaktives Nachschulung für Vision-Sprache-Handlung-Modelle

Interactive Post-Training for Vision-Language-Action Models

May 22, 2025

Autoren: Shuhan Tan, Kairan Dou, Yue Zhao, Philipp Krähenbühl

cs.AI

Zusammenfassung

Wir stellen RIPT-VLA vor, ein einfaches und skalierbares, auf Reinforcement Learning basierendes interaktives Nachschulungsparadigma, das vortrainierte Vision-Language-Action (VLA)-Modelle ausschließlich mit spärlichen binären Erfolgsbelohnungen feinabstimmt. Bestehende VLA-Trainingspipelines stützen sich stark auf Offline-Experten-Demonstrationsdaten und überwachte Imitation, was ihre Fähigkeit einschränkt, sich an neue Aufgaben und Umgebungen in Niedrigdaten-Regimen anzupassen. RIPT-VLA adressiert dies, indem es eine interaktive Nachschulung mit einem stabilen Policy-Optimierungsalgorithmus ermöglicht, der auf dynamischem Rollout-Sampling und Leave-One-Out-Vorteilsschätzung basiert. RIPT-VLA weist folgende Merkmale auf. Erstens ist es auf verschiedene VLA-Modelle anwendbar, was zu einer Verbesserung des leichtgewichtigen QueST-Modells um 21,2 % und des 7B OpenVLA-OFT-Modells auf eine beispiellose Erfolgsrate von 97,5 % führt. Zweitens ist es rechen- und dateneffizient: Mit nur einer Demonstration ermöglicht RIPT-VLA einem nicht funktionsfähigen SFT-Modell (4 %), innerhalb von 15 Iterationen eine Erfolgsrate von 97 % zu erreichen. Darüber hinaus zeigen wir, dass die von RIPT-VLA erlernte Policy über verschiedene Aufgaben und Szenarien hinweg generalisiert und robust gegenüber dem Ausgangszustandskontext ist. Diese Ergebnisse unterstreichen RIPT-VLA als ein praktisches und effektives Paradigma für die Nachschulung von VLA-Modellen mit minimaler Überwachung.

English

We introduce RIPT-VLA, a simple and scalable reinforcement-learning-based interactive post-training paradigm that fine-tunes pretrained Vision-Language-Action (VLA) models using only sparse binary success rewards. Existing VLA training pipelines rely heavily on offline expert demonstration data and supervised imitation, limiting their ability to adapt to new tasks and environments under low-data regimes. RIPT-VLA addresses this by enabling interactive post-training with a stable policy optimization algorithm based on dynamic rollout sampling and leave-one-out advantage estimation. RIPT-VLA has the following characteristics. First, it applies to various VLA models, resulting in an improvement on the lightweight QueST model by 21.2%, and the 7B OpenVLA-OFT model to an unprecedented 97.5% success rate. Second, it is computationally efficient and data-efficient: with only one demonstration, RIPT-VLA enables an unworkable SFT model (4%) to succeed with a 97% success rate within 15 iterations. Furthermore, we demonstrate that the policy learned by RIPT-VLA generalizes across different tasks and scenarios and is robust to the initial state context. These results highlight RIPT-VLA as a practical and effective paradigm for post-training VLA models through minimal supervision.