WorldVLA: 自己回帰的行動世界モデルに向けて

要旨

本論文では、行動と画像の理解および生成を統合した自己回帰型行動世界モデル「WorldVLA」を提案する。WorldVLAは、Vision-Language-Action（VLA）モデルと世界モデルを単一のフレームワークに統合したものである。世界モデルは、行動と画像の理解を活用して未来の画像を予測し、環境の物理法則を学習することで行動生成を改善することを目的としている。一方、行動モデルは画像観測に基づいて次の行動を生成し、視覚理解を支援するとともに、世界モデルの視覚生成にも寄与する。我々は、WorldVLAが独立した行動モデルや世界モデルを凌駕することを実証し、世界モデルと行動モデルの相互強化を明らかにした。さらに、自己回帰的に行動シーケンスを生成する際に、行動モデルの性能が低下する現象を観察した。この現象は、行動予測におけるモデルの一般化能力の限界に起因し、初期の行動の誤差が後続の行動に伝播するためと考えられる。この問題に対処するため、現在の行動生成時に過去の行動を選択的にマスクするアテンションマスク戦略を提案し、行動チャンク生成タスクにおいて顕著な性能向上を示した。

English

We present WorldVLA, an autoregressive action world model that unifies action and image understanding and generation. Our WorldVLA intergrates Vision-Language-Action (VLA) model and world model in one single framework. The world model predicts future images by leveraging both action and image understanding, with the purpose of learning the underlying physics of the environment to improve action generation. Meanwhile, the action model generates the subsequent actions based on image observations, aiding in visual understanding and in turn helps visual generation of the world model. We demonstrate that WorldVLA outperforms standalone action and world models, highlighting the mutual enhancement between the world model and the action model. In addition, we find that the performance of the action model deteriorates when generating sequences of actions in an autoregressive manner. This phenomenon can be attributed to the model's limited generalization capability for action prediction, leading to the propagation of errors from earlier actions to subsequent ones. To address this issue, we propose an attention mask strategy that selectively masks prior actions during the generation of the current action, which shows significant performance improvement in the action chunk generation task.

WorldVLA: 自己回帰的行動世界モデルに向けて

WorldVLA: Towards Autoregressive Action World Model

要旨

Support