UniCom: Modellazione Multimodale Unificata tramite Rappresentazioni Semantiche Continue Compresse
UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations
March 11, 2026
Autori: Yaqi Zhao, Wang Lin, Zijian Zhang, Miles Yang, Jingyuan Chen, Wentao Zhang, Zhao Zhong, Liefeng Bo
cs.AI
Abstract
I modelli multimodali unificati attuali si basano tipicamente su tokenizzatori visivi discreti per colmare il divario modale. Tuttiatto, la discretizzazione scarta inevitabilmente informazioni semantiche di alto dettaglio, portando a prestazioni subottimali nelle attività di comprensione visiva. Al contrario, modellare direttamente rappresentazioni semantiche continue (ad es. CLIP, SigLIP) presenta sfide significative nella modellazione generativa ad alta dimensionalità, risultando in una convergenza lenta e instabilità dell'addestramento. Per risolvere questo dilemma, introduciamo UniCom, un framework unificato che armonizza comprensione e generazione multimodale tramite rappresentazione continua compressa. Dimostriamo empiricamente che la riduzione della dimensione dei canali è significativamente più efficace del downsampling spaziale sia per la ricostruzione che per la generazione. Di conseguenza, progettiamo un compressore semantico basato su attention per distillare feature dense in una rappresentazione unificata compatta. Inoltre, validiamo che l'architettura transfusion supera i design basati su query in termini di convergenza e coerenza. Gli esperimenti dimostrano che UniCom raggiunge prestazioni di generazione allo stato dell'arte tra i modelli unificati. Notevolmente, preservando ricchi prior semantici, offre un'eccezionale controllabilità nell'editing delle immagini e mantiene la coerenza dell'immagine anche senza fare affidamento su VAE.
English
Current unified multimodal models typically rely on discrete visual tokenizers to bridge the modality gap. However, discretization inevitably discards fine-grained semantic information, leading to suboptimal performance in visual understanding tasks. Conversely, directly modeling continuous semantic representations (e.g., CLIP, SigLIP) poses significant challenges in high-dimensional generative modeling, resulting in slow convergence and training instability. To resolve this dilemma, we introduce UniCom, a unified framework that harmonizes multimodal understanding and generation via compressed continuous representation. We empirically demonstrate that reducing channel dimension is significantly more effective than spatial downsampling for both reconstruction and generation. Accordingly, we design an attention-based semantic compressor to distill dense features into a compact unified representation. Furthermore, we validate that the transfusion architecture surpasses query-based designs in convergence and consistency. Experiments demonstrate that UniCom achieves state-of-the-art generation performance among unified models. Notably, by preserving rich semantic priors, it delivers exceptional controllability in image editing and maintains image consistency even without relying on VAE.