ThinkJEPA: 대규모 비전-언어 추론 모델로 강화하는 잠재 세계 모델

초록

잠재 세계 모델(예: V-JEPA2)의 최근 발전은 비디오 관측으로부터 미래 세계 상태를 예측하는 유망한 능력을 보여주고 있습니다. 그러나 짧은 관측 창을 통한 조밀 예측(dense prediction)은 시간적 맥락을 제한하고 예측 모델이 지역적, 저수준 외삽에 치우치게 할 수 있어 장기적 의미 체계 포착이 어려워지고 하류 작업 활용도가 낮아지는 한계가 있습니다. 반면, 비전-언어 모델(VLM)은 균일하게 샘플링된 프레임에 대한 추론을 통해 강력한 의미 기반(semantic grounding)과 일반 지식을 제공하지만, 컴퓨팅 효율을 위한 희소 샘플링, 세밀한 상호작용 상태를 텍스트 중심 표현으로 압축하는 언어 출력 병목 현상, 그리고 작은 행동 조건 데이터셋에 적응할 때 발생하는 데이터 체계 불일치로 인해 독립적인 조밀 예측기로는 이상적이지 않습니다. 우리는 조밀 프레임 동역학 모델링과 장기적 의미 지도를 결합한 이중 시간 경로(dual-temporal pathway) 방식을 통해 VLM 기반 JEPA 스타일 잠재 세계 모델링 프레임워크를 제안합니다: 세밀한 운동 및 상호작용 신호를 위한 조밀 JEPA 분기(dense JEPA branch)와 더 큰 시간 간격을 두고 지식 기반 지도를 제공하는 균일 샘플링 VLM 생각 분기(VLM thinker branch)로 구성됩니다. VLM의 점진적 추론 신호를 효과적으로 전달하기 위해, 우리는 다중 계층 VLM 표현을 잠재 예측과 호환되는 지도 특징으로 집계하는 계층적 피라미드 표현 추출 모듈을 도입했습니다. 손 조작 궤적 예측 실험에서 우리의 방법은 강력한 VLM 단독 기준선과 JEPA 예측기 기준선을 모두 능가하며, 더 강건한 장기 롤아웃(rollout) 동작을 생성하는 것으로 나타났습니다.

English

Recent progress in latent world models (e.g., V-JEPA2) has shown promising capability in forecasting future world states from video observations. Nevertheless, dense prediction from a short observation window limits temporal context and can bias predictors toward local, low-level extrapolation, making it difficult to capture long-horizon semantics and reducing downstream utility. Vision--language models (VLMs), in contrast, provide strong semantic grounding and general knowledge by reasoning over uniformly sampled frames, but they are not ideal as standalone dense predictors due to compute-driven sparse sampling, a language-output bottleneck that compresses fine-grained interaction states into text-oriented representations, and a data-regime mismatch when adapting to small action-conditioned datasets. We propose a VLM-guided JEPA-style latent world modeling framework that combines dense-frame dynamics modeling with long-horizon semantic guidance via a dual-temporal pathway: a dense JEPA branch for fine-grained motion and interaction cues, and a uniformly sampled VLM thinker branch with a larger temporal stride for knowledge-rich guidance. To transfer the VLM's progressive reasoning signals effectively, we introduce a hierarchical pyramid representation extraction module that aggregates multi-layer VLM representations into guidance features compatible with latent prediction. Experiments on hand-manipulation trajectory prediction show that our method outperforms both a strong VLM-only baseline and a JEPA-predictor baseline, and yields more robust long-horizon rollout behavior.

ThinkJEPA: 대규모 비전-언어 추론 모델로 강화하는 잠재 세계 모델

ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model

초록

Support