UniCom: Verenigde Multimodale Modellering via Gecomprimeerde Continue Semantische Representaties
UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations
March 11, 2026
Auteurs: Yaqi Zhao, Wang Lin, Zijian Zhang, Miles Yang, Jingyuan Chen, Wentao Zhang, Zhao Zhong, Liefeng Bo
cs.AI
Samenvatting
Huidige geünificeerde multimodale modellen maken doorgaans gebruik van discrete visuele tokenizers om de modaliteitskloof te overbruggen. Discretisatie verliest echter onvermijdelijk fijnmazige semantische informatie, wat leidt tot suboptimale prestaties bij visuele begripstaken. Omgekeerd vormt het direct modelleren van continue semantische representaties (zoals CLIP, SigLIP) aanzienlijke uitdagingen voor hoogdimensionale generatieve modellering, met trage convergentie en trainingsinstabiliteit tot gevolg. Om dit dilemma op te lossen, introduceren we UniCom, een geünificeerd raamwerk dat multimodaal begrip en generatie harmoniseert via gecomprimeerde continue representatie. We tonen empirisch aan dat het verkleinen van de kanaaldimensie aanzienlijk effectiever is dan ruimtelijke downsampling voor zowel reconstructie als generatie. Dienovereenkomstig ontwerpen we een op aandacht gebaseerde semantische compressor om dichte kenmerken te destilleren tot een compacte geünificeerde representatie. Bovendien valideren we dat de transfusion-architectuur query-gebaseerde ontwerpen overtreft in convergentie en consistentie. Experimenten tonen aan dat UniCom state-of-the-art generatieprestaties bereikt onder geünificeerde modellen. Opmerkelijk is dat het door het behoud van rijke semantische priorijen uitzonderlijke bestuurbaarheid biedt bij beeldbewerking en beeldconsistentie handhaaft zelfs zonder afhankelijkheid van VAE.
English
Current unified multimodal models typically rely on discrete visual tokenizers to bridge the modality gap. However, discretization inevitably discards fine-grained semantic information, leading to suboptimal performance in visual understanding tasks. Conversely, directly modeling continuous semantic representations (e.g., CLIP, SigLIP) poses significant challenges in high-dimensional generative modeling, resulting in slow convergence and training instability. To resolve this dilemma, we introduce UniCom, a unified framework that harmonizes multimodal understanding and generation via compressed continuous representation. We empirically demonstrate that reducing channel dimension is significantly more effective than spatial downsampling for both reconstruction and generation. Accordingly, we design an attention-based semantic compressor to distill dense features into a compact unified representation. Furthermore, we validate that the transfusion architecture surpasses query-based designs in convergence and consistency. Experiments demonstrate that UniCom achieves state-of-the-art generation performance among unified models. Notably, by preserving rich semantic priors, it delivers exceptional controllability in image editing and maintains image consistency even without relying on VAE.