Interactieve Post-Training voor Visie-Taal-Actie Modellen

Interactive Post-Training for Vision-Language-Action Models

May 22, 2025

Auteurs: Shuhan Tan, Kairan Dou, Yue Zhao, Philipp Krähenbühl

cs.AI

Samenvatting

We introduceren RIPT-VLA, een eenvoudig en schaalbaar reinforcement-learning-gebaseerd interactief post-trainingsparadigma dat vooraf getrainde Vision-Language-Action (VLA)-modellen verfijnt met alleen spaarzame binaire succesbeloningen. Bestaande VLA-trainingspijplijnen zijn sterk afhankelijk van offline expertdemonstratiedata en gesuperviseerde imitatie, wat hun vermogen beperkt om zich aan te passen aan nieuwe taken en omgevingen onder omstandigheden met weinig data. RIPT-VLA lost dit op door interactieve post-training mogelijk te maken met een stabiel beleidsoptimalisatie-algoritme gebaseerd op dynamische rollout-sampling en leave-one-out voordeelschatting. RIPT-VLA heeft de volgende kenmerken. Ten eerste is het toepasbaar op diverse VLA-modellen, wat resulteert in een verbetering van het lichtgewicht QueST-model met 21,2%, en het 7B OpenVLA-OFT-model naar een ongekend succespercentage van 97,5%. Ten tweede is het computationeel efficiënt en data-efficiënt: met slechts één demonstratie stelt RIPT-VLA een onwerkbaar SFT-model (4%) in staat om binnen 15 iteraties een succespercentage van 97% te behalen. Bovendien tonen we aan dat het door RIPT-VLA geleerde beleid generaliseert over verschillende taken en scenario’s en robuust is tegen de initiële staatcontext. Deze resultaten benadrukken RIPT-VLA als een praktisch en effectief paradigma voor het post-trainen van VLA-modellen met minimale supervisie.

English

We introduce RIPT-VLA, a simple and scalable reinforcement-learning-based interactive post-training paradigm that fine-tunes pretrained Vision-Language-Action (VLA) models using only sparse binary success rewards. Existing VLA training pipelines rely heavily on offline expert demonstration data and supervised imitation, limiting their ability to adapt to new tasks and environments under low-data regimes. RIPT-VLA addresses this by enabling interactive post-training with a stable policy optimization algorithm based on dynamic rollout sampling and leave-one-out advantage estimation. RIPT-VLA has the following characteristics. First, it applies to various VLA models, resulting in an improvement on the lightweight QueST model by 21.2%, and the 7B OpenVLA-OFT model to an unprecedented 97.5% success rate. Second, it is computationally efficient and data-efficient: with only one demonstration, RIPT-VLA enables an unworkable SFT model (4%) to succeed with a 97% success rate within 15 iterations. Furthermore, we demonstrate that the policy learned by RIPT-VLA generalizes across different tasks and scenarios and is robust to the initial state context. These results highlight RIPT-VLA as a practical and effective paradigm for post-training VLA models through minimal supervision.