villa-X : Amélioration de la modélisation des actions latentes dans les modèles vision-langage-action

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

July 31, 2025

papers.authors: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, Jianyu Chen, Jiang Bian

cs.AI

papers.abstract

Les modèles Visuel-Langage-Action (VLA) sont devenus un paradigme populaire pour l'apprentissage de politiques de manipulation robotique capables de suivre des instructions linguistiques et de généraliser à des scénarios nouveaux. Des travaux récents ont commencé à explorer l'intégration d'actions latentes, une représentation abstraite du changement visuel entre deux images, dans le pré-entraînement des modèles VLA. Dans cet article, nous présentons villa-X, un nouveau cadre Visuel-Langage-Action-Latente (ViLLA) qui fait progresser la modélisation des actions latentes pour l'apprentissage de politiques de manipulation robotique généralisables. Notre approche améliore à la fois la manière dont les actions latentes sont apprises et la façon dont elles sont intégrées dans le pré-entraînement des modèles VLA. Ensemble, ces contributions permettent à villa-X d'obtenir des performances supérieures dans des environnements simulés, notamment SIMPLER et LIBERO, ainsi que sur deux configurations robotiques réelles incluant la manipulation par pince et par main dextre. Nous croyons que le paradigme ViLLA présente un potentiel significatif, et que notre villa-X offre une base solide pour les recherches futures.

English

Visual-Language-Action (VLA) models have emerged as a popular paradigm for learning robot manipulation policies that can follow language instructions and generalize to novel scenarios. Recent work has begun to explore the incorporation of latent actions, an abstract representation of visual change between two frames, into VLA pre-training. In this paper, we introduce villa-X, a novel Visual-Language-Latent-Action (ViLLA) framework that advances latent action modeling for learning generalizable robot manipulation policies. Our approach improves both how latent actions are learned and how they are incorporated into VLA pre-training. Together, these contributions enable villa-X to achieve superior performance across simulated environments including SIMPLER and LIBERO, as well as on two real-world robot setups including gripper and dexterous hand manipulation. We believe the ViLLA paradigm holds significant promise, and that our villa-X provides a strong foundation for future research.