意図としての潜在アクションが、ワールドアクションモデルの効率的な未来想像を可能にする

要旨

世界行動モデル（WAM）は観測の時間的発展をモデル化することでロボット制御を改善するが、テスト時に将来の観測を生成する際には大きなレイテンシが生じる。Fast-WAM は効率化のためこのプロセスを省略する。しかしながら、我々の対応する実装では、Fast-WAM は将来認識型の代替手法よりも低い汎化性能を示し、特にロボットの実演データが乏しい場合や分布外のシナリオでその傾向が顕著である。このギャップを埋めるため、我々は **LAWA** を導入する。LAWA は、コンパクトな潜在アクションを将来の意図の操作的表現として用いる WAM アーキテクチャであり、将来の観測を生成することなく効率的なテスト時未来想像を可能にする。具体的には、行動フリー事前学習によって強化された離散トークナイザーが、操作中心のコードブックターゲットを生成する。LAWA は、実行可能なアクションチャンクとともに、これらのターゲットに固定された連続潜在状態を共同でデノイジングし、推論時には将来ビデオ分岐を省略する。RoboCasa において、LAWA は少数ショット設定で65.6%、フルデータ設定で80.8%という最先端水準の平均成功率を達成し、対応する Fast-WAM ベースラインをそれぞれ9.6ポイントおよび4.5ポイント上回る。また、対応する Joint-WAM 変種の性能水準を維持しながら、推論レイテンシを42.9%削減する。LAWA はさらに、LIBERO-Plus において競争力のあるゼロショット堅牢性を示し、実世界のタスクでは優れた性能を発揮する。これらの結果は、未来想像を放棄する必要がないことを示している。すなわち、コンパクトな潜在アクションを用いて未来想像を保持することで、性能・汎化・レイテンシの間で効果的なトレードオフが達成される。コードとモデルは公開予定である。

English

World action models (WAMs) improve robot control by modeling how observations evolve, but generating future observations at test time incurs substantial latency. Fast-WAM removes this process for efficiency; however, our matched implementations show lower generalization for Fast-WAM than for future-aware alternatives, especially with scarce robot demonstrations and in out-of-distribution scenarios. To bridge this gap, we introduce **LAWA**, a WAM architecture that uses compact latent actions as an operational representation of future intentions, enabling efficient test-time future imagination without generating future observations. Specifically, a discrete tokenizer enhanced by action-free pre-training produces manipulation-centric codebook targets. LAWA jointly denoises a continuous latent state anchored to these targets with executable action chunks while omitting the future-video branch at inference. On RoboCasa, LAWA achieves state-of-the-art average success rates of 65.6% and 80.8% in the few-shot and full data settings, improving over the matched Fast-WAM baseline by 9.6 and 4.5 points, respectively. It also preserves the performance level of the matched Joint-WAM variant while requiring 42.9% lower inference latency. LAWA also demonstrates competitive zero-shot robustness on LIBERO-Plus and superior performance on real-world tasks. These results show that future imagination need not be discarded: retaining it with compact latent actions yields an effective trade-off among performance, generalization, and latency. Code and models will be released.