WCM: 視覚・言語・行動強化学習のためのワールドクリティックモデル

要旨

強化学習（RL）による視覚-言語-行動（VLA）モデルのポストトレーニングは、ロボット操作において大きな可能性を示している。RL手法の中で、クリティックベースのアプローチは、主に単一フレームの観測または単一フレームのVLMバックボーン潜在表現に基づいて動作する価値推定器に依存しており、これはロボット制御の部分観測可能な性質との根本的なミスマッチである。観測履歴をクリティックに組み込む単純なアプローチは、高次元の視覚空間において指数関数的な複雑さを招き、さらに純粋なスカラーリターン回帰では時間横断的なダイナミクスを学習するための十分な教師信号が得られないため、依然として失敗する。我々は、その根本原因を状態近似問題として特定する。すなわち、明示的な世界モデルの目的関数がなければ、クリティックの表現は正確な価値推定に必要な時間的構造を捕捉できない。この問題に対処するため、我々は軽量なLeJEPAアーキテクチャに基づくWorld Critic Model（WCM）を提案する。WCMは将来の潜在状態を予測し、価値を推定することを同時に行い、クリティックの表現が単にスカラーリターンを回帰するのではなく、時間的ダイナミクスを捕捉するよう明示的に訓練される。WCMはオン方策およびオフ方策の両方の訓練パイプラインにシームレスに統合でき、Pi0、Pi0.5、OpenVLA-OFTを含む最先端のVLAバックボーンと互換性がある。4つのベンチマーク、149のタスクにわたる広範な実験により、WCMが分布内および分布外の両方の設定で一貫して最先端の性能を達成し、特に強い汎化の向上を示すことを実証する。さらに、OpenVLA-OFTとPi0.5を用いたオフ方策RLによる7つの実世界操作タスクでWCMを検証し、多様な設定での安定した展開を確認した。

English

Reinforcement learning (RL) post-training of Vision-Language-Action (VLA) models has shown strong promise for robotic manipulation. Among RL methods, critic-based approaches rely on a value estimator that predominantly operates on single-frame observations or single-frame VLM backbone latents, which is a fundamental mismatch with the partially observable nature of robot control. A naive approach to incorporate observation history into the critic incurs exponential complexity with high-dimensional visual space, and still fails because pure scalar-return regression provides insufficient supervision for learning cross-temporal dynamics. We identify the root cause as a state approximation problem: without an explicit world modeling objective, the critic's representation cannot capture the temporal structure needed for accurate value estimation. To address this, we propose the World Critic Model (WCM), built on a lightweight LeJEPA architecture; WCM jointly predicts future latent state and estimates values, such that the critic's representation is explicitly trained to capture temporal dynamics rather than merely regress scalar returns. WCM integrates seamlessly into both on-policy and off-policy training pipelines and is compatible with state-of-the-art VLA backbones including Pi0, Pi0.5, and OpenVLA-OFT. Extensive experiments on 149 tasks across four benchmarks demonstrate that WCM consistently achieves state-of-the-art performance in both in-distribution and out-of-distribution settings, with particularly strong generalization gains. We further validate WCM on seven real-world manipulation tasks using OpenVLA-OFT and Pi0.5 with off-policy RL, confirming stable deployment across diverse settings.