UniCom : Modélisation Multimodale Unifiée via des Représentations Sémantiques Continues Compressées
UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations
March 11, 2026
Auteurs: Yaqi Zhao, Wang Lin, Zijian Zhang, Miles Yang, Jingyuan Chen, Wentao Zhang, Zhao Zhong, Liefeng Bo
cs.AI
Résumé
Les modèles multimodaux unifiés actuels reposent généralement sur des tokeniseurs visuels discrets pour combler l'écart modal. Cependant, la discrétisation élimine inévitablement les informations sémantiques fines, conduisant à des performances sous-optimales dans les tâches de compréhension visuelle. À l'inverse, modéliser directement des représentations sémantiques continues (comme CLIP ou SigLIP) présente des défis significatifs en modélisation générative haute dimension, entraînant une convergence lente et une instabilité lors de l'entraînement. Pour résoudre ce dilemme, nous présentons UniCom, un cadre unifié qui harmonise la compréhension et la génération multimodales via une représentation continue compressée. Nous démontrons empiriquement que la réduction de la dimension des canaux est nettement plus efficace que le sous-échantillonnage spatial pour la reconstruction et la génération. En conséquence, nous concevons un compresseur sémantique basé sur l'attention pour distiller les caractéristiques denses en une représentation unifiée compacte. De plus, nous validons que l'architecture de transfusion surpasse les conceptions basées sur des requêtes en termes de convergence et de cohérence. Les expériences démontrent qu'UniCom atteint des performances de génération à la pointe parmi les modèles unifiés. Notamment, en préservant de riches préalables sémantiques, il offre une contrôlabilité exceptionnelle en édition d'image et maintient la cohérence visuelle même sans recourir à un VAE.
English
Current unified multimodal models typically rely on discrete visual tokenizers to bridge the modality gap. However, discretization inevitably discards fine-grained semantic information, leading to suboptimal performance in visual understanding tasks. Conversely, directly modeling continuous semantic representations (e.g., CLIP, SigLIP) poses significant challenges in high-dimensional generative modeling, resulting in slow convergence and training instability. To resolve this dilemma, we introduce UniCom, a unified framework that harmonizes multimodal understanding and generation via compressed continuous representation. We empirically demonstrate that reducing channel dimension is significantly more effective than spatial downsampling for both reconstruction and generation. Accordingly, we design an attention-based semantic compressor to distill dense features into a compact unified representation. Furthermore, we validate that the transfusion architecture surpasses query-based designs in convergence and consistency. Experiments demonstrate that UniCom achieves state-of-the-art generation performance among unified models. Notably, by preserving rich semantic priors, it delivers exceptional controllability in image editing and maintains image consistency even without relying on VAE.