VLA-R1: Verbetering van Redeneren in Visie-Taal-Actie Modellen

VLA-R1: Enhancing Reasoning in Vision-Language-Action Models

October 2, 2025

Auteurs: Angen Ye, Zeyu Zhang, Boyuan Wang, Xiaofeng Wang, Dapeng Zhang, Zheng Zhu

cs.AI

Samenvatting

Vision-Language-Action (VLA)-modellen streven ernaar waarneming, taalbegrip en actiegeneratie te verenigen, wat sterke generalisatie over taken en scenario's biedt met een brede impact op embodied AI. Huidige VLA-modellen missen echter vaak expliciete stap-voor-stap redenering en produceren direct eindacties zonder rekening te houden met affordance-beperkingen of geometrische relaties. Hun post-trainingspijplijnen versterken ook zelden de kwaliteit van redenering, waarbij ze voornamelijk vertrouwen op supervised fine-tuning met zwakke beloningsontwerpen. Om deze uitdagingen aan te pakken, presenteren we VLA-R1, een redenering-versterkte VLA die Reinforcement Learning from Verifiable Rewards (RLVR) integreert met Group Relative Policy Optimization (GRPO) om zowel redenering als uitvoering systematisch te optimaliseren. Specifiek ontwerpen we een RLVR-gebaseerde post-trainingsstrategie met verifieerbare beloningen voor regio-uitlijning, trajectconsistentie en outputformattering, waardoor de robuustheid van redenering en uitvoeringsnauwkeurigheid worden versterkt. Daarnaast ontwikkelen we VLA-CoT-13K, een hoogwaardige dataset die chain-of-thought-supervisie biedt die expliciet is afgestemd op affordance- en trajectannotaties. Bovendien tonen uitgebreide evaluaties op in-domein, out-of-domein, simulatie- en echte robotplatforms aan dat VLA-R1 superieure generalisatie en real-world prestaties bereikt in vergelijking met eerdere VLA-methoden. We zijn van plan het model, de code en de dataset vrij te geven na publicatie van dit werk. Code: https://github.com/GigaAI-research/VLA-R1. Website: https://gigaai-research.github.io/VLA-R1.

English

Vision-Language-Action (VLA) models aim to unify perception, language understanding, and action generation, offering strong cross-task and cross-scene generalization with broad impact on embodied AI. However, current VLA models often lack explicit step-by-step reasoning, instead emitting final actions without considering affordance constraints or geometric relations. Their post-training pipelines also rarely reinforce reasoning quality, relying primarily on supervised fine-tuning with weak reward design. To address these challenges, we present VLA-R1, a reasoning-enhanced VLA that integrates Reinforcement Learning from Verifiable Rewards (RLVR) with Group Relative Policy Optimization (GRPO) to systematically optimize both reasoning and execution. Specifically, we design an RLVR-based post-training strategy with verifiable rewards for region alignment, trajectory consistency, and output formatting, thereby strengthening reasoning robustness and execution accuracy. Moreover, we develop VLA-CoT-13K, a high-quality dataset that provides chain-of-thought supervision explicitly aligned with affordance and trajectory annotations. Furthermore, extensive evaluations on in-domain, out-of-domain, simulation, and real-robot platforms demonstrate that VLA-R1 achieves superior generalization and real-world performance compared to prior VLA methods. We plan to release the model, code, and dataset following the publication of this work. Code: https://github.com/GigaAI-research/VLA-R1. Website: https://gigaai-research.github.io/VLA-R1.