PonderPounce: ロボット制御のためのエピソードコンテキストエンジンとしての事前学習済みMLLM

要旨

マルチモーダル大規模言語モデル（MLLM）は、長い視覚履歴を統合し、部分可観測性の下で推論し、少数の例から行動を推測することができる。しかし、視覚言語行動（VLA）モデルは一般に、この文脈的容量をエピソードメモリとして活用することなく、事前学習済み表現を継承している。メモリ依存型ポリシーは、目的に特化した履歴機構を通じてこのギャップに対処する。PonderPounceは代わりに、MLLM本来の因果的文脈をロボットメモリとして再利用する。System2 MLLMであるPonderは、エピソードの観察、デモンストレーション、事前の認知を本来の因果的文脈に蓄積し、内部使用のためのサブゴールテキストやデモンストレーション推論を生成できる。System1 VLAであるPounceは、現在の観察、指示、固有感覚を直接受け取る。Ponder–Pounceインターフェースを通じて、最新の連続認知トークンとその年齢のみを非同期に受け取る。両者は、専用のメモリモジュールや独立したブリッジ事前学習を介さずに、エンドツーエンドで共同トレーニングされる。最適化されたサービングにより、認知リフレッシュでp50レイテンシ78ms、アクションモデル呼び出しで25msを達成し、20Hzのアクション再生をサポートする。ベース規模のトレーニングデータを用いたRoboMMEでは、PonderPounceは同じPounceアーキテクチャとインターフェースの下で、9Bで60.83%、0.8Bで50.04%に達し、FrameSamp+Modulの44.51%や現在の観察のみのπ_{0.5}の17.93%を上回る。9倍のデータでは、75.54%に達し、FrameSamp+Modulの57.88%を上回る。RoboCasa-DCでは、同じインターフェースがアクション監督のみから学習し、12.5%を達成する。これは最も強力な公開済みデモ条件付きベースラインの11.6%を上回るが、認知を学習済みヌル状態に置き換えると8.6%に低下する。

English

Multimodal large language models (MLLMs) can integrate long visual histories, reason under partial observability, and infer behavior from a few examples. Yet vision-language-action (VLA) models generally inherit pretrained representations without using this contextual capacity as episode memory. Memory-dependent policies address this gap through purpose-built history mechanisms. PonderPounce instead reuses an MLLM's native causal context as robot memory. Ponder, a System2 MLLM, accumulates episode observations, demonstrations, and prior cognition in its native causal context and can generate subgoal text and demonstration reasoning for internal use. Pounce, a System1 VLA, receives the current observation, instruction, and proprioception directly; through the Ponder--Pounce interface, it asynchronously receives only the newest continuous cognition token and its age. Both are jointly trained end to end without a purpose-built memory module or separate bridge pretraining. Optimized serving achieves p50 latencies of 78ms for cognition refresh and 25ms for action-model invocation, supporting 20Hz action playback. On RoboMME with base-scale training data, PonderPounce reaches 60.83% with 9B and 50.04% with 0.8B under the same Pounce architecture and interface, versus 44.51% for FrameSamp+Modul and 17.93% for the current-observation π_{0.5}. With 9x data, it reaches 75.54% versus 57.88% for FrameSamp+Modul. On RoboCasa-DC, the same interface learns from action supervision alone and reaches 12.5% versus 11.6% for the strongest published demonstration-conditioned baseline, falling to 8.6% when cognition is replaced by a learned null state.