Orca: De wereld is in je geest

Samenvatting

We introduceren Orca, een eerste instantiatie van een algemeen wereldfundamentmodel. Orca leert een uniforme latente wereldruimte aan de hand van multimodale wereldsignalen en stelt deze beschikbaar via multimodale uitleesinterfaces. In plaats van het optimaliseren van geïsoleerde volgende-token-, volgende-frame- of volgende-actie-voorspellingen, richten we ons op Next-State-Prediction-modellering, een uniforme toestandsovergangsmodelleringsroute naar het begrijpen, voorspellen en beïnvloeden van de wereld. Orca leert via twee complementaire paradigma's: onbewust leren legt dichte natuurlijke toestandsovergangen vast uit continue video's, en bewust leren modelleert spaarzame betekenisvolle toestandsovergangen met behulp van taal-beschreven gebeurtenissen en VQA-supervisie. Voor de pre-training hebben we een grootschalige gegevensinventaris voor wereldleren opgebouwd, waaronder 125.000 uur aan videogegevens en 160M gebeurtenisannotaties. Na pre-training leert Orca een uniforme latente wereldruimte. Om te onderzoeken of de geleerde latente ruimte downstream-toepassingen ondersteunt, evalueren we deze aan de hand van drie representatieve downstream-uitlezingen: tekstgeneratie, beeldvoorspelling en belichaamde actiegeneratie. De backbone van Orca blijft bevroren, en alleen de lichtgewicht modaal-specifieke decoders zijn trainbaar. Experimenten tonen de schaalbaarheid van het voorgestelde paradigma aan en bevestigen dat een sterkere latente wereldruimte leidt tot sterkere downstream-uitlezingen. Orca presteert beter dan vergelijkbaar grote gespecialiseerde basislijnen. Deze resultaten laten zien dat Orca, als algemeen wereldfundamentmodel, een veelbelovende benadering biedt voor het begrijpen, voorspellen en beïnvloeden van de wereld. Tot slot bespreken we de huidige beperkingen, met als doel nuttige inzichten en inspiratie te bieden voor de gemeenschap.

English

We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines. These results show that Orca, as a general world foundation model, presents a promising approach to understanding, predicting, and acting upon the world. Finally, we discuss the current limitations, aiming to provide useful insights and inspiration for the community.