villa-X: Aprimorando a Modelagem de Ações Latentes em Modelos Visão-Linguagem-Ação

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

July 31, 2025

Autores: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, Jianyu Chen, Jiang Bian

cs.AI

Resumo

Os modelos Visual-Language-Action (VLA) surgiram como um paradigma popular para aprender políticas de manipulação robótica que podem seguir instruções em linguagem natural e generalizar para cenários novos. Trabalhos recentes começaram a explorar a incorporação de ações latentes, uma representação abstrata da mudança visual entre dois quadros, no pré-treinamento de VLA. Neste artigo, apresentamos o villa-X, uma nova estrutura Visual-Language-Latent-Action (ViLLA) que avança a modelagem de ações latentes para aprender políticas de manipulação robótica generalizáveis. Nossa abordagem melhora tanto a forma como as ações latentes são aprendidas quanto a maneira como são incorporadas no pré-treinamento de VLA. Juntas, essas contribuições permitem que o villa-X alcance desempenho superior em ambientes simulados, incluindo SIMPLER e LIBERO, bem como em duas configurações robóticas do mundo real, envolvendo manipulação com garra e mão articulada. Acreditamos que o paradigma ViLLA tem um potencial significativo e que nosso villa-X fornece uma base sólida para pesquisas futuras.

English

Visual-Language-Action (VLA) models have emerged as a popular paradigm for learning robot manipulation policies that can follow language instructions and generalize to novel scenarios. Recent work has begun to explore the incorporation of latent actions, an abstract representation of visual change between two frames, into VLA pre-training. In this paper, we introduce villa-X, a novel Visual-Language-Latent-Action (ViLLA) framework that advances latent action modeling for learning generalizable robot manipulation policies. Our approach improves both how latent actions are learned and how they are incorporated into VLA pre-training. Together, these contributions enable villa-X to achieve superior performance across simulated environments including SIMPLER and LIBERO, as well as on two real-world robot setups including gripper and dexterous hand manipulation. We believe the ViLLA paradigm holds significant promise, and that our villa-X provides a strong foundation for future research.