StreamPI: 視覚-言語-行動モデルのためのストリーミングマルチモーダル時系列モデリング

要旨

視覚-言語-行動（VLA）モデルはロボット操作において有効性を示してきたが、pi0.5などの最先端モデルは単一フレームパラダイムの下で動作し、過去の観測を保持して精密な空間知覚を獲得する能力が制限されている。本稿では、追加パラメータを一切導入することなく、単一フレームVLAに時間的推論能力を付与する、ストリーミング型マルチモーダル時間モデリングフレームワークであるStreamPIを提案する。中核となる設計は、指示アンカー型時間モデリングである。これは、各（視覚観測、言語指示）ペアを原子的な時間単位として扱う。各ペア内の双方向アテンションによりクロスモーダル融合が可能になり、ペア間の因果的アテンションによって自己回帰的なストリーミング推論が維持される。これにより、言語指示がタスク実行全体を通じて持続的な意味的アンカーとして機能することが保証される。同期学習と非同期の実ロボット展開との間のギャップを埋めるため、ランダム間隔ストリーミング学習戦略を導入する。適切なフレーム間間隔（例: 3フレームごと）により、より高速で滑らかな行動実行が可能になる。さらに、間隔をランダム化することで、フレームタイミングの変動に対するロバスト性がさらに向上し、実際の非同期展開をサポートする。また、LLMバックボーンの長さ外挿能力を活用することで、StreamPIは事前学習済みの単一フレーム重みをシームレスに継承し、柔軟な単一フレームおよびマルチフレーム推論をサポートする。記憶依存および精密知覚シナリオにわたる実ロボットタスクと、シミュレーションベンチマークLIBEROにおける実験により、StreamPIが多様なタスクでpi0.5を上回ることを実証する。

English

Vision-Language-Action (VLA) models have demonstrated effectiveness in robot manipulation, yet state-of-the-art models such as pi0.5 operate under a single-frame paradigm, limiting their ability to retain past observations and develop precise spatial perception. In this paper, we propose StreamPI, a streaming multimodal temporal modeling framework that equips single-frame VLA with temporal reasoning capability without introducing any additional parameters. One core design is instruction-anchored temporal modeling. It treats each (visual observation, language instruction) pair as an atomic temporal unit: bidirectional attention within each pair enables cross-modal fusion, while causal attention across pairs preserves autoregressive streaming inference. This ensures the language instruction serves as a persistent semantic anchor throughout task execution. To bridge the gap between synchronous training and asynchronous real-robot deployment, we introduce a andom-interval streaming training strategy: a proper inter-frame interval (e.g., every 3 frames) enables faster and smoother action execution. Beyond this, randomizing the interval further improves robustness to frame-timing perturbations, supporting asynchronous deployment in practice. Furthermore, by leveraging the length extrapolation capability of the LLM backbone, StreamPI seamlessly inherits pretrained single-frame weights and supports flexible single-frame and multi-frame inference. Experiments on real-robot tasks spanning memory-dependent and precise perception scenarios, as well as the simulation benchmark LIBERO, demonstrate that StreamPI outperforms pi0.5 across diverse tasks.