villa-X: Verbetering van Latente Actiemodellering in Visie-Taal-Actie Modellen

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

July 31, 2025

Auteurs: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, Jianyu Chen, Jiang Bian

cs.AI

Samenvatting

Visual-Language-Action (VLA)-modellen zijn naar voren gekomen als een populair paradigma voor het leren van robotmanipulatiebeleid dat taal instructies kan volgen en kan generaliseren naar nieuwe scenario's. Recent onderzoek begint de integratie van latente acties, een abstracte representatie van visuele verandering tussen twee frames, in VLA-pre-training te verkennen. In dit artikel introduceren we villa-X, een nieuw Visual-Language-Latent-Action (ViLLA)-raamwerk dat de modellering van latente acties voor het leren van generaliseerbare robotmanipulatiebeleid verder ontwikkelt. Onze aanpak verbetert zowel hoe latente acties worden geleerd als hoe ze worden geïntegreerd in VLA-pre-training. Samen zorgen deze bijdragen ervoor dat villa-X superieure prestaties behaalt in gesimuleerde omgevingen, waaronder SIMPLER en LIBERO, evenals op twee real-world robotopstellingen, waaronder grijper- en behendige handmanipulatie. Wij geloven dat het ViLLA-paradigma veelbelovend is en dat onze villa-X een sterke basis biedt voor toekomstig onderzoek.

English

Visual-Language-Action (VLA) models have emerged as a popular paradigm for learning robot manipulation policies that can follow language instructions and generalize to novel scenarios. Recent work has begun to explore the incorporation of latent actions, an abstract representation of visual change between two frames, into VLA pre-training. In this paper, we introduce villa-X, a novel Visual-Language-Latent-Action (ViLLA) framework that advances latent action modeling for learning generalizable robot manipulation policies. Our approach improves both how latent actions are learned and how they are incorporated into VLA pre-training. Together, these contributions enable villa-X to achieve superior performance across simulated environments including SIMPLER and LIBERO, as well as on two real-world robot setups including gripper and dexterous hand manipulation. We believe the ViLLA paradigm holds significant promise, and that our villa-X provides a strong foundation for future research.