Разворачивание контекста в Omni-моделях

Context Unrolling in Omni Models

April 23, 2026

Авторы: Ceyuan Yang, Zhijie Lin, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Chaorui Deng, Kunchang Li, Zihan Ding, Yuwei Guo, Fuyun Wang, Fangqi Zhu, Xiaonan Nie, Shenhan Zhu, Shanchuan Lin, Hongsheng Li, Weilin Huang, Guang Shi, Haoqi Fan

cs.AI

Аннотация

Мы представляем Omni — унифицированную мультимодальную модель, изначально обученную на разнообразных модальностях, включая текст, изображения, видео, 3D-геометрию и скрытые представления. Мы обнаружили, что такое обучение обеспечивает Контекстное развертывание (Context Unlining), при котором модель явно выстраивает рассуждения по множеству модальных представлений перед формированием предсказаний. Этот процесс позволяет модели агрегировать комплементарную информацию из гетерогенных модальностей, способствуя более точной аппроксимации общего мультимодального многообразия знаний и повышая достоверность последующих рассуждений. В результате Omni демонстрирует высокую производительность в задачах как мультимодального генерации, так и понимания, а также проявляет продвинутые способности к мультимодальным рассуждениям, включая генерацию текста, изображений, видео и 3D-геометрии в контексте.

English

We present Omni, a unified multimodal model natively trained on diverse modalities, including text, images, videos, 3D geometry, and hidden representations. We find that such training enables Context Unrolling, where the model explicitly reasons across multiple modal representations before producing predictions. This process enables the model to aggregate complementary information across heterogeneous modalities, facilitating a more faithful approximation of the shared multimodal knowledge manifold and improving downstream reasoning fidelity. As a result, Omni achieves strong performance on both multimodal generation and understanding benchmarks, while demonstrating advanced multimodal reasoning capabilities, including in-context generation of text, image, video, and 3D geometry.