villa-X: Miglioramento della Modellazione delle Azioni Latenti nei Modelli Visione-Linguaggio-Azione

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

July 31, 2025

Autori: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, Jianyu Chen, Jiang Bian

cs.AI

Abstract

I modelli Visual-Language-Action (VLA) sono emersi come un paradigma popolare per l'apprendimento di politiche di manipolazione robotica in grado di seguire istruzioni linguistiche e generalizzare a scenari nuovi. Recenti lavori hanno iniziato a esplorare l'incorporazione di azioni latenti, una rappresentazione astratta del cambiamento visivo tra due frame, nel pre-addestramento VLA. In questo articolo, introduciamo villa-X, un nuovo framework Visual-Language-Latent-Action (ViLLA) che avanza la modellazione delle azioni latenti per l'apprendimento di politiche di manipolazione robotica generalizzabili. Il nostro approccio migliora sia il modo in cui le azioni latenti vengono apprese sia il modo in cui vengono integrate nel pre-addestramento VLA. Insieme, questi contributi consentono a villa-X di ottenere prestazioni superiori in ambienti simulati come SIMPLER e LIBERO, nonché in due configurazioni robotiche del mondo reale, inclusa la manipolazione con pinza e mano destra. Crediamo che il paradigma ViLLA abbia un potenziale significativo e che villa-X fornisca una solida base per la ricerca futura.

English

Visual-Language-Action (VLA) models have emerged as a popular paradigm for learning robot manipulation policies that can follow language instructions and generalize to novel scenarios. Recent work has begun to explore the incorporation of latent actions, an abstract representation of visual change between two frames, into VLA pre-training. In this paper, we introduce villa-X, a novel Visual-Language-Latent-Action (ViLLA) framework that advances latent action modeling for learning generalizable robot manipulation policies. Our approach improves both how latent actions are learned and how they are incorporated into VLA pre-training. Together, these contributions enable villa-X to achieve superior performance across simulated environments including SIMPLER and LIBERO, as well as on two real-world robot setups including gripper and dexterous hand manipulation. We believe the ViLLA paradigm holds significant promise, and that our villa-X provides a strong foundation for future research.