Orca: O Mundo Está na Sua Mente

Resumo

Apresentamos o Orca, uma instanciação inicial de um modelo de fundação mundial geral. O Orca aprende um espaço latente mundial unificado a partir de sinais multimodais do mundo e o expõe por meio de interfaces de leitura multimodais. Em vez de otimizar previsões isoladas de próximo token, próximo quadro ou próxima ação, centramo-nos na modelagem de Predição do Próximo Estado, oferecendo uma abordagem unificada de modelagem de transição de estados para compreender, prever e agir sobre o mundo. O Orca aprende por meio de dois paradigmas complementares: a aprendizagem inconsciente captura transições densas de estados naturais a partir de vídeos contínuos, e a aprendizagem consciente modela transições esparsas e significativas de estados por meio de eventos descritos por linguagem e supervisão de VQA. Para o pré-treinamento, construímos um inventário de dados de aprendizagem mundial em larga escala, incluindo 125 mil horas de dados de vídeo e 160 milhões de anotações de eventos. Após o pré-treinamento, o Orca aprende um espaço latente mundial unificado. Para examinar se o latente aprendido suporta tarefas downstream, avaliamo-lo por meio de três leituras downstream representativas: geração de texto, predição de imagem e geração de ações incorporadas. O backbone do Orca é congelado, e apenas os decodificadores leves específicos de modalidade são treináveis. Experimentos mostram a escalabilidade do paradigma proposto e verificam que um latente mundial mais forte permite leituras downstream mais robustas. O Orca supera baselines especializados de tamanho similar. Esses resultados mostram que o Orca, como um modelo de fundação mundial geral, apresenta uma abordagem promissora para compreender, prever e agir sobre o mundo. Por fim, discutimos as limitações atuais, com o objetivo de fornecer insights e inspirações úteis para a comunidade.

English

We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines. These results show that Orca, as a general world foundation model, presents a promising approach to understanding, predicting, and acting upon the world. Finally, we discuss the current limitations, aiming to provide useful insights and inspiration for the community.