Orca : Le monde est dans votre esprit

Résumé

Nous présentons Orca, une première instanciation d’un modèle fondation général du monde. Orca apprend un espace latent unifié du monde à partir de signaux mondiaux multimodaux et l’expose via des interfaces de lecture multimodales. Plutôt que d’optimiser des prédictions isolées de token suivant, d’image suivante ou d’action suivante, nous nous concentrons sur la modélisation par Prédiction du Prochain État (Next-State-Prediction), offrant une voie unifiée de modélisation des transitions d’état pour comprendre, prédire et agir sur le monde. Orca apprend via deux paradigmes complémentaires : l’apprentissage inconscient capture les transitions d’état naturelles denses à partir de vidéos continues, et l’apprentissage conscient modélise les transitions d’état significatives et éparses à l’aide d’événements décrits par le langage et d’une supervision par VQA. Pour le pré-entraînement, nous construisons un vaste ensemble de données d’inventaire pour l’apprentissage du monde, comprenant 125 000 heures de vidéo et 160 millions d’annotations d’événements. Après le pré-entraînement, Orca apprend un espace latent unifié du monde. Pour examiner si ce latent appris soutient les tâches en aval, nous l’évaluons via trois lectures en aval représentatives : la génération de texte, la prédiction d’image et la génération d’actions incarnées. Le backbone d’Orca est gelé et seuls les décodeurs légers spécifiques aux modalités sont entraînables. Les expériences montrent la scalabilité du paradigme proposé et confirment qu’un latent monde plus fort permet des lectures en aval plus performantes. Orca surpasse les bases de référence spécialisées de taille similaire. Ces résultats montrent qu’Orca, en tant que modèle fondation général du monde, constitue une approche prometteuse pour comprendre, prédire et agir sur le monde. Enfin, nous discutons des limitations actuelles, dans le but d’offrir des perspectives et des inspirations utiles à la communauté.

English

We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines. These results show that Orca, as a general world foundation model, presents a promising approach to understanding, predicting, and acting upon the world. Finally, we discuss the current limitations, aiming to provide useful insights and inspiration for the community.