WCM: 비전-언어-행동 강화학습을 위한 세계 비평 모델

초록

강화학습(RL) 기반 비전-언어-행동(VLA) 모델 사후 학습은 로봇 조작 분야에서 큰 가능성을 입증해 왔다. RL 방법 중 크리틱 기반 접근법은 주로 단일 프레임 관측 또는 단일 프레임 VLM 백본 잠재 표현에 의존하여 동작하는 가치 추정기에 기반하는데, 이는 로봇 제어의 부분 관측 가능성 특성과 근본적으로 불일치한다. 관측 이력을 크리틱에 통합하는 단순한 접근 방식은 고차원 시각 공간에서 지수적 복잡도를 초래할 뿐만 아니라, 순수한 스칼라 반환 회귀만으로는 시간적 교차 역학을 학습하기에 불충분한 지도 신호를 제공하므로 여전히 실패한다. 우리는 이 문제의 근본 원인이 상태 근사 문제에 있음을 규명한다. 즉, 명시적인 세계 모델링 목적 없이는 크리틱의 표현이 정확한 가치 추정에 필요한 시간적 구조를 포착할 수 없다. 이를 해결하기 위해 우리는 경량 LeJEPA 아키텍처 기반의 세계 크리틱 모델(WCM)을 제안한다. WCM은 미래 잠재 상태를 예측하고 가치를 추정하는 것을 동시에 수행함으로써, 크리틱의 표현이 단순히 스칼라 반환을 회귀하는 것이 아니라 시간적 동역학을 포착하도록 명시적으로 학습된다. WCM은 온폴리시 및 오프폴리시 학습 파이프라인 모두에 원활하게 통합되며, Pi0, Pi0.5, OpenVLA-OFT를 포함한 최신 VLA 백본과 호환된다. 네 개의 벤치마크에서 149개 작업에 걸친 광범위한 실험을 통해 WCM이 분포 내 및 분포 외 설정 모두에서 일관되게 최신 성능을 달성하며, 특히 강력한 일반화 향상을 보여줌을 입증한다. 또한 OpenVLA-OFT 및 Pi0.5를 오프폴리시 RL과 함께 사용하여 7개의 실제 세계 조작 작업에서 WCM을 추가 검증하고, 다양한 환경에서의 안정적 배포를 확인한다.

English

Reinforcement learning (RL) post-training of Vision-Language-Action (VLA) models has shown strong promise for robotic manipulation. Among RL methods, critic-based approaches rely on a value estimator that predominantly operates on single-frame observations or single-frame VLM backbone latents, which is a fundamental mismatch with the partially observable nature of robot control. A naive approach to incorporate observation history into the critic incurs exponential complexity with high-dimensional visual space, and still fails because pure scalar-return regression provides insufficient supervision for learning cross-temporal dynamics. We identify the root cause as a state approximation problem: without an explicit world modeling objective, the critic's representation cannot capture the temporal structure needed for accurate value estimation. To address this, we propose the World Critic Model (WCM), built on a lightweight LeJEPA architecture; WCM jointly predicts future latent state and estimates values, such that the critic's representation is explicitly trained to capture temporal dynamics rather than merely regress scalar returns. WCM integrates seamlessly into both on-policy and off-policy training pipelines and is compatible with state-of-the-art VLA backbones including Pi0, Pi0.5, and OpenVLA-OFT. Extensive experiments on 149 tasks across four benchmarks demonstrate that WCM consistently achieves state-of-the-art performance in both in-distribution and out-of-distribution settings, with particularly strong generalization gains. We further validate WCM on seven real-world manipulation tasks using OpenVLA-OFT and Pi0.5 with off-policy RL, confirming stable deployment across diverse settings.