오르카: 세상은 너의 마음속에

초록

우리는 일반 세계 기반 모델의 초기 구현체인 Orca를 소개한다. Orca는 멀티모달 세계 신호로부터 통합된 세계 잠재 공간을 학습하고, 이를 멀티모달 판독 인터페이스를 통해 노출한다. 고립된 다음 토큰, 다음 프레임, 또는 다음 행동 예측을 최적화하는 대신, 우리는 다음 상태 예측(Next-State-Prediction) 모델링에 중점을 두어 세계를 이해, 예측 및 행동하기 위한 통합된 상태 전이 모델링 경로를 제공한다. Orca는 두 가지 상호 보완적 패러다임을 통해 학습한다. 무의식 학습은 연속 비디오에서 밀집된 자연 상태 전이를 포착하고, 의식 학습은 언어로 기술된 사건과 VQA 감독을 통해 희소한 의미 있는 상태 전이를 모델링한다. 사전 학습을 위해 125K 시간의 비디오 데이터와 160M 개의 사건 주석을 포함하는 대규모 세계 학습 인벤토리 데이터를 구축한다. 사전 학습 후 Orca는 통합된 세계 잠재 공간을 학습한다. 학습된 잠재 표현이 다운스트림을 지원하는지 검토하기 위해, 텍스트 생성, 이미지 예측, 임베디드 행동 생성의 세 가지 대표적인 다운스트림 판독으로 평가한다. Orca의 백본은 고정되고, 가벼운 모달리티별 디코더만 훈련 가능하다. 실험은 제안된 패러다임의 확장성을 보여주고, 더 강력한 세계 잠재 표현이 더 강력한 다운스트림 판독을 가능하게 함을 확인한다. Orca는 유사한 크기의 특화된 기준 모델보다 우수한 성능을 보인다. 이러한 결과는 일반 세계 기반 모델로서 Orca가 세계를 이해, 예측 및 행동하는 데 유망한 접근법을 제시함을 보여준다. 마지막으로, 현재의 한계를 논의하여 커뮤니티에 유용한 통찰력과 영감을 제공하고자 한다.

English

We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines. These results show that Orca, as a general world foundation model, presents a promising approach to understanding, predicting, and acting upon the world. Finally, we discuss the current limitations, aiming to provide useful insights and inspiration for the community.