HiF-VLA：運動表現によるビジョン・言語・行動モデルのための後知・洞察・先見

要旨

視覚言語行動（VLA）モデルは近年、視覚的・言語的手がかりを行動に結び付けることでロボットマニピュレーションを実現してきた。しかし、既存のVLAモデルの多くはマルコフ性を仮定しており、現在の観測のみに依存するため時間的近視眼的となり、長期的な一貫性が損なわれる問題を抱えている。本研究では、運動を時間的コンテキストと世界のダイナミクスを表現するよりコンパクトで情報量の多い表現と捉え、状態間の変化を捉えつつ静的なピクセルレベルのノイズを除去する枠組みを提案する。この考え方に基づき、我々はHiF-VLA（Hindsight, Insight, and Foresight for VLAs）を開発した。これは運動を双方向の時間推論に活用する統合フレームワークであり、後知恵プライアを通じて過去の動力学を符号化し、先見的推論によって将来の運動を予測し、両者を後知恵調整型ジョイントエキスパートで統合することで、長期的マニピュレーションのための「動作しながら思考する」パラダイムを実現する。その結果、HiF-VLAはLIBERO-LongおよびCALVIN ABC-Dベンチマークにおいて強力なベースラインを凌駕し、推論遅延の追加は無視できる程度に収めた。さらに、実世界の長期的マニピュレーションタスクにおいても大幅な改善を達成し、実用的なロボット環境における広範な有効性を実証した。

English

Vision-Language-Action (VLA) models have recently enabled robotic manipulation by grounding visual and linguistic cues into actions. However, most VLAs assume the Markov property, relying only on the current observation and thus suffering from temporal myopia that degrades long-horizon coherence. In this work, we view motion as a more compact and informative representation of temporal context and world dynamics, capturing inter-state changes while filtering static pixel-level noise. Building on this idea, we propose HiF-VLA (Hindsight, Insight, and Foresight for VLAs), a unified framework that leverages motion for bidirectional temporal reasoning. HiF-VLA encodes past dynamics through hindsight priors, anticipates future motion via foresight reasoning, and integrates both through a hindsight-modulated joint expert to enable a ''think-while-acting'' paradigm for long-horizon manipulation. As a result, HiF-VLA surpasses strong baselines on LIBERO-Long and CALVIN ABC-D benchmarks, while incurring negligible additional inference latency. Furthermore, HiF-VLA achieves substantial improvements in real-world long-horizon manipulation tasks, demonstrating its broad effectiveness in practical robotic settings.

HiF-VLA：運動表現によるビジョン・言語・行動モデルのための後知・洞察・先見

HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models

要旨

Support