Orca: Мир в твоем сознании

Аннотация

Мы представляем Orca — начальную реализацию общей фундаментальной модели мира. Orca изучает единое латентное пространство мира из мультимодальных мировых сигналов и предоставляет его через мультимодальные интерфейсы считывания. Вместо оптимизации изолированного предсказания следующего токена, следующего кадра или следующего действия мы сосредоточены на моделировании предсказания следующего состояния, предлагая унифицированный путь моделирования переходов между состояниями для понимания, предсказания и воздействия на мир. Orca обучается с помощью двух взаимодополняющих парадигм: бессознательное обучение фиксирует плотные естественные переходы между состояниями из непрерывных видео, а сознательное обучение моделирует разреженные значимые переходы между состояниями на основе событий, описанных на языке, и контроля с помощью VQA. Для предварительного обучения мы создаем крупномасштабные данные для обучения мира, включающие 125 тысяч часов видео и 160 миллионов аннотаций событий. После предварительного обучения Orca получает единое латентное пространство мира. Чтобы проверить, поддерживает ли изученное латентное пространство нисходящие задачи, мы оцениваем его с помощью трех репрезентативных нисходящих выходных интерфейсов: генерации текста, предсказания изображений и генерации воплощенных действий. Бэкбон Orca заморожен, и обучаются только легковесные модально-специфические декодеры. Эксперименты показывают масштабируемость предложенной парадигмы и подтверждают, что более сильное латентное пространство мира позволяет получать более высокое качество нисходящих задач. Orca превосходит специализированные базовые модели аналогичного размера. Эти результаты показывают, что Orca, как общая фундаментальная модель мира, представляет собой многообещающий подход к пониманию, предсказанию и воздействию на мир. Наконец, мы обсуждаем текущие ограничения, стремясь предоставить полезные идеи и вдохновение для сообщества.

English

We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines. These results show that Orca, as a general world foundation model, presents a promising approach to understanding, predicting, and acting upon the world. Finally, we discuss the current limitations, aiming to provide useful insights and inspiration for the community.