villa-X: Verbesserung der latenten Aktionsmodellierung in Vision-Sprache-Aktion-Modellen

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

July 31, 2025

papers.authors: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, Jianyu Chen, Jiang Bian

cs.AI

papers.abstract

Visual-Language-Action (VLA)-Modelle haben sich als ein populäres Paradigma für das Erlernen von Roboter-Manipulationsstrategien etabliert, die Sprachanweisungen befolgen und sich auf neue Szenarien verallgemeinern lassen. In jüngster Zeit wurde begonnen, die Einbindung latenter Aktionen, einer abstrakten Darstellung visueller Veränderungen zwischen zwei Bildern, in das VLA-Pre-Training zu erforschen. In diesem Artikel stellen wir villa-X vor, ein neuartiges Visual-Language-Latent-Action (ViLLA)-Framework, das die Modellierung latenter Aktionen für das Erlernen generalisierbarer Roboter-Manipulationsstrategien weiterentwickelt. Unser Ansatz verbessert sowohl die Art und Weise, wie latente Aktionen gelernt werden, als auch deren Integration in das VLA-Pre-Training. Diese Beiträge ermöglichen es villa-X, überlegene Leistungen in simulierten Umgebungen wie SIMPLER und LIBERO sowie in zwei realen Robotersetups, einschließlich Greifer- und geschickter Handmanipulation, zu erzielen. Wir glauben, dass das ViLLA-Paradigma großes Potenzial birgt und dass unser villa-X eine solide Grundlage für zukünftige Forschung bietet.

English

Visual-Language-Action (VLA) models have emerged as a popular paradigm for learning robot manipulation policies that can follow language instructions and generalize to novel scenarios. Recent work has begun to explore the incorporation of latent actions, an abstract representation of visual change between two frames, into VLA pre-training. In this paper, we introduce villa-X, a novel Visual-Language-Latent-Action (ViLLA) framework that advances latent action modeling for learning generalizable robot manipulation policies. Our approach improves both how latent actions are learned and how they are incorporated into VLA pre-training. Together, these contributions enable villa-X to achieve superior performance across simulated environments including SIMPLER and LIBERO, as well as on two real-world robot setups including gripper and dexterous hand manipulation. We believe the ViLLA paradigm holds significant promise, and that our villa-X provides a strong foundation for future research.