villa-X: 視覚-言語-行動モデルにおける潜在行動モデリングの強化

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

July 31, 2025

著者: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, Jianyu Chen, Jiang Bian

cs.AI

要旨

視覚-言語-行動（VLA）モデルは、言語指示に従い、新しいシナリオに一般化可能なロボット操作ポリシーを学習するための人気のあるパラダイムとして登場しました。最近の研究では、2つのフレーム間の視覚的変化を抽象的に表現する潜在行動をVLA事前学習に組み込む試みが始まっています。本論文では、一般化可能なロボット操作ポリシーを学習するための潜在行動モデリングを進化させた、新しい視覚-言語-潜在行動（ViLLA）フレームワークであるvilla-Xを紹介します。私たちのアプローチは、潜在行動の学習方法と、それをVLA事前学習に組み込む方法の両方を改善します。これらの貢献により、villa-XはSIMPLERやLIBEROを含むシミュレーション環境、およびグリッパーと器用な手操作を含む2つの実世界のロボットセットアップにおいて優れた性能を発揮します。ViLLAパラダイムは大きな可能性を秘めており、私たちのvilla-Xは将来の研究のための強固な基盤を提供すると信じています。

English

Visual-Language-Action (VLA) models have emerged as a popular paradigm for learning robot manipulation policies that can follow language instructions and generalize to novel scenarios. Recent work has begun to explore the incorporation of latent actions, an abstract representation of visual change between two frames, into VLA pre-training. In this paper, we introduce villa-X, a novel Visual-Language-Latent-Action (ViLLA) framework that advances latent action modeling for learning generalizable robot manipulation policies. Our approach improves both how latent actions are learned and how they are incorporated into VLA pre-training. Together, these contributions enable villa-X to achieve superior performance across simulated environments including SIMPLER and LIBERO, as well as on two real-world robot setups including gripper and dexterous hand manipulation. We believe the ViLLA paradigm holds significant promise, and that our villa-X provides a strong foundation for future research.