villa-X: Mejora del Modelado de Acciones Latentes en Modelos de Visión-Lenguaje-Acción

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

July 31, 2025

Autores: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, Jianyu Chen, Jiang Bian

cs.AI

Resumen

Los modelos Visual-Language-Action (VLA) han surgido como un paradigma popular para el aprendizaje de políticas de manipulación robótica que pueden seguir instrucciones en lenguaje natural y generalizar a escenarios novedosos. Trabajos recientes han comenzado a explorar la incorporación de acciones latentes, una representación abstracta del cambio visual entre dos fotogramas, en el preentrenamiento de VLA. En este artículo, presentamos villa-X, un nuevo marco Visual-Language-Latent-Action (ViLLA) que avanza en el modelado de acciones latentes para el aprendizaje de políticas de manipulación robótica generalizables. Nuestro enfoque mejora tanto la forma en que se aprenden las acciones latentes como su incorporación en el preentrenamiento de VLA. En conjunto, estas contribuciones permiten que villa-X logre un rendimiento superior en entornos simulados, incluyendo SIMPLER y LIBERO, así como en dos configuraciones robóticas del mundo real que involucran manipulación con pinza y mano diestra. Creemos que el paradigma ViLLA tiene un potencial significativo y que nuestra villa-X proporciona una base sólida para futuras investigaciones.

English

Visual-Language-Action (VLA) models have emerged as a popular paradigm for learning robot manipulation policies that can follow language instructions and generalize to novel scenarios. Recent work has begun to explore the incorporation of latent actions, an abstract representation of visual change between two frames, into VLA pre-training. In this paper, we introduce villa-X, a novel Visual-Language-Latent-Action (ViLLA) framework that advances latent action modeling for learning generalizable robot manipulation policies. Our approach improves both how latent actions are learned and how they are incorporated into VLA pre-training. Together, these contributions enable villa-X to achieve superior performance across simulated environments including SIMPLER and LIBERO, as well as on two real-world robot setups including gripper and dexterous hand manipulation. We believe the ViLLA paradigm holds significant promise, and that our villa-X provides a strong foundation for future research.