Sviluppo Contestuale nei Modelli Omni

Context Unrolling in Omni Models

April 23, 2026

Autori: Ceyuan Yang, Zhijie Lin, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Chaorui Deng, Kunchang Li, Zihan Ding, Yuwei Guo, Fuyun Wang, Fangqi Zhu, Xiaonan Nie, Shenhan Zhu, Shanchuan Lin, Hongsheng Li, Weilin Huang, Guang Shi, Haoqi Fan

cs.AI

Abstract

Presentiamo Omni, un modello multimodale unificato addestrato nativamente su diverse modalità, inclusi testo, immagini, video, geometria 3D e rappresentazioni latenti. Rileviamo che tale addestramento abilita lo Sviluppo Contestuale, dove il modello ragiona esplicitamente attraverso multiple rappresentazioni modali prima di produrre previsioni. Questo processo consente al modello di aggregare informazioni complementari tra modalità eterogenee, facilitando un'approssimazione più fedele della varietà condivisa di conoscenza multimodale e migliorando la fedeltà del ragionamento a valle. Di conseguenza, Omni raggiunge prestazioni solide sia su benchmark di generazione che di comprensione multimodale, dimostrando al contempo capacità avanzate di ragionamento multimodale, inclusa la generazione contestuale di testo, immagini, video e geometria 3D.

English

We present Omni, a unified multimodal model natively trained on diverse modalities, including text, images, videos, 3D geometry, and hidden representations. We find that such training enables Context Unrolling, where the model explicitly reasons across multiple modal representations before producing predictions. This process enables the model to aggregate complementary information across heterogeneous modalities, facilitating a more faithful approximation of the shared multimodal knowledge manifold and improving downstream reasoning fidelity. As a result, Omni achieves strong performance on both multimodal generation and understanding benchmarks, while demonstrating advanced multimodal reasoning capabilities, including in-context generation of text, image, video, and 3D geometry.