villa-X: Улучшение моделирования скрытых действий в моделях "Ви́дение-Язык-Действие"

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

July 31, 2025

Авторы: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, Jianyu Chen, Jiang Bian

cs.AI

Аннотация

Модели Visual-Language-Action (VLA) стали популярной парадигмой для обучения стратегий манипуляции роботов, способных следовать языковым инструкциям и обобщать их на новые сценарии. В последних работах начали исследовать включение латентных действий — абстрактного представления визуальных изменений между двумя кадрами — в предварительное обучение VLA. В данной статье мы представляем villa-X, новый фреймворк Visual-Language-Latent-Action (ViLLA), который продвигает моделирование латентных действий для обучения обобщаемым стратегиям манипуляции роботов. Наш подход улучшает как процесс обучения латентным действиям, так и их интеграцию в предварительное обучение VLA. В совокупности эти достижения позволяют villa-X демонстрировать превосходную производительность в симулированных средах, таких как SIMPLER и LIBERO, а также в двух реальных роботизированных установках, включая манипуляцию с помощью захвата и ловкой руки. Мы считаем, что парадигма ViLLA обладает значительным потенциалом, а villa-X предоставляет прочную основу для будущих исследований.

English

Visual-Language-Action (VLA) models have emerged as a popular paradigm for learning robot manipulation policies that can follow language instructions and generalize to novel scenarios. Recent work has begun to explore the incorporation of latent actions, an abstract representation of visual change between two frames, into VLA pre-training. In this paper, we introduce villa-X, a novel Visual-Language-Latent-Action (ViLLA) framework that advances latent action modeling for learning generalizable robot manipulation policies. Our approach improves both how latent actions are learned and how they are incorporated into VLA pre-training. Together, these contributions enable villa-X to achieve superior performance across simulated environments including SIMPLER and LIBERO, as well as on two real-world robot setups including gripper and dexterous hand manipulation. We believe the ViLLA paradigm holds significant promise, and that our villa-X provides a strong foundation for future research.