Orca: El mundo está en tu mente

Resumen

Presentamos Orca, una instanciación inicial de un modelo fundacional general del mundo. Orca aprende un espacio latente unificado del mundo a partir de señales multimodales del mundo y lo expone a través de interfaces de lectura multimodal. En lugar de optimizar predicciones aisladas de siguiente token, siguiente fotograma o siguiente acción, nos centramos en el modelado de predicción del siguiente estado (*Next-State-Prediction*), lo que ofrece una ruta unificada de modelado de transición de estados hacia la comprensión, predicción y acción sobre el mundo. Orca aprende mediante dos paradigmas complementarios: el aprendizaje inconsciente captura transiciones de estado densas y naturales a partir de videos continuos, y el aprendizaje consciente modela transiciones de estado dispersas y significativas mediante eventos descritos por lenguaje y supervisión de VQA. Para el preentrenamiento, construimos un inventario de datos de aprendizaje del mundo a gran escala, que incluye 125 mil horas de datos de video y 160 millones de anotaciones de eventos. Después del preentrenamiento, Orca aprende un espacio latente unificado del mundo. Para examinar si el latente aprendido respalda tareas posteriores, lo evaluamos mediante tres lecturas representativas de tareas posteriores: generación de texto, predicción de imágenes y generación de acciones incorporadas. La columna vertebral de Orca se congela y solo los decodificadores ligeros específicos de cada modalidad son entrenables. Los experimentos muestran la escalabilidad del paradigma propuesto y verifican que un latente del mundo más fuerte permite lecturas posteriores más sólidas. Orca supera a las líneas base especializadas de tamaño similar. Estos resultados muestran que Orca, como modelo fundacional general del mundo, presenta un enfoque prometedor para comprender, predecir y actuar sobre el mundo. Finalmente, discutimos las limitaciones actuales, con el objetivo de proporcionar ideas útiles e inspiración para la comunidad.

English

We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines. These results show that Orca, as a general world foundation model, presents a promising approach to understanding, predicting, and acting upon the world. Finally, we discuss the current limitations, aiming to provide useful insights and inspiration for the community.