Desdobramento de Contexto em Modelos Omni

Context Unrolling in Omni Models

April 23, 2026

Autores: Ceyuan Yang, Zhijie Lin, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Chaorui Deng, Kunchang Li, Zihan Ding, Yuwei Guo, Fuyun Wang, Fangqi Zhu, Xiaonan Nie, Shenhan Zhu, Shanchuan Lin, Hongsheng Li, Weilin Huang, Guang Shi, Haoqi Fan

cs.AI

Resumo

Apresentamos o Omni, um modelo multimodal unificado treinado nativamente em diversas modalidades, incluindo texto, imagens, vídeos, geometria 3D e representações ocultas. Descobrimos que esse treinamento possibilita o Desdobramento Contextual, onde o modelo raciocina explicitamente através de múltiplas representações modais antes de produzir previsões. Esse processo permite ao modelo agregar informações complementares entre modalidades heterogêneas, facilitando uma aproximação mais fiel da variedade de conhecimento multimodal compartilhada e melhorando a fidelidade do raciocínio subsequente. Como resultado, o Omni alcança desempenho sólido em benchmarks de geração e compreensão multimodal, demonstrando capacidades avançadas de raciocínio multimodal, incluindo geração contextual de texto, imagem, vídeo e geometria 3D.

English

We present Omni, a unified multimodal model natively trained on diverse modalities, including text, images, videos, 3D geometry, and hidden representations. We find that such training enables Context Unrolling, where the model explicitly reasons across multiple modal representations before producing predictions. This process enables the model to aggregate complementary information across heterogeneous modalities, facilitating a more faithful approximation of the shared multimodal knowledge manifold and improving downstream reasoning fidelity. As a result, Omni achieves strong performance on both multimodal generation and understanding benchmarks, while demonstrating advanced multimodal reasoning capabilities, including in-context generation of text, image, video, and 3D geometry.