Déroulement contextuel dans les modèles omni
Context Unrolling in Omni Models
April 23, 2026
Auteurs: Ceyuan Yang, Zhijie Lin, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Chaorui Deng, Kunchang Li, Zihan Ding, Yuwei Guo, Fuyun Wang, Fangqi Zhu, Xiaonan Nie, Shenhan Zhu, Shanchuan Lin, Hongsheng Li, Weilin Huang, Guang Shi, Haoqi Fan
cs.AI
Résumé
Nous présentons Omni, un modèle multimodal unifié entraîné nativement sur diverses modalités, incluant le texte, les images, les vidéos, la géométrie 3D et les représentations latentes. Nous constatons qu'un tel entraînement permet un Déroulement Contextuel, où le modèle raisonne explicitement à travers plusieurs représentations modales avant de produire ses prédictions. Ce processus permet au modèle d'agréger des informations complémentaires issues de modalités hétérogènes, facilitant une approximation plus fidèle de la variété de connaissances multimodales partagée et améliorant la fidélité du raisonnement en aval. En conséquence, Omni obtient des performances solides sur les benchmarks de génération et de compréhension multimodales, tout en démontrant des capacités de raisonnement multimodal avancées, incluant la génération contextuelle de texte, d'images, de vidéos et de géométrie 3D.
English
We present Omni, a unified multimodal model natively trained on diverse modalities, including text, images, videos, 3D geometry, and hidden representations. We find that such training enables Context Unrolling, where the model explicitly reasons across multiple modal representations before producing predictions. This process enables the model to aggregate complementary information across heterogeneous modalities, facilitating a more faithful approximation of the shared multimodal knowledge manifold and improving downstream reasoning fidelity. As a result, Omni achieves strong performance on both multimodal generation and understanding benchmarks, while demonstrating advanced multimodal reasoning capabilities, including in-context generation of text, image, video, and 3D geometry.