UniCom: Modelagem Multimodal Unificada por meio de Representações Semânticas Contínuas Comprimidas
UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations
March 11, 2026
Autores: Yaqi Zhao, Wang Lin, Zijian Zhang, Miles Yang, Jingyuan Chen, Wentao Zhang, Zhao Zhong, Liefeng Bo
cs.AI
Resumo
Os modelos multimodais unificados atuais geralmente dependem de tokenizadores visuais discretos para preencher a lacuna de modalidade. No entanto, a discretização descarta inevitavelmente informações semânticas refinadas, levando a um desempenho abaixo do ideal em tarefas de compreensão visual. Por outro lado, modelar diretamente representações semânticas contínuas (por exemplo, CLIP, SigLIP) impõe desafios significativos na modelagem generativa de alta dimensionalidade, resultando em convergência lenta e instabilidade no treinamento. Para resolver esse dilema, introduzimos o UniCom, uma estrutura unificada que harmoniza a compreensão e a geração multimodal por meio de representação contínua comprimida. Demonstramos empiricamente que reduzir a dimensão do canal é significativamente mais eficaz do que a redução de amostragem espacial para reconstrução e geração. Consequentemente, projetamos um compressor semântico baseado em atenção para destilar características densas em uma representação unificada compacta. Além disso, validamos que a arquitetura de transfusão supera projetos baseados em consultas em convergência e consistência. Experimentos demonstram que o UniCom alcança desempenho de geração state-of-the-art entre modelos unificados. Notavelmente, ao preservar ricos prévios semânticos, oferece uma controlabilidade excepcional na edição de imagens e mantém a consistência da imagem mesmo sem depender de VAE.
English
Current unified multimodal models typically rely on discrete visual tokenizers to bridge the modality gap. However, discretization inevitably discards fine-grained semantic information, leading to suboptimal performance in visual understanding tasks. Conversely, directly modeling continuous semantic representations (e.g., CLIP, SigLIP) poses significant challenges in high-dimensional generative modeling, resulting in slow convergence and training instability. To resolve this dilemma, we introduce UniCom, a unified framework that harmonizes multimodal understanding and generation via compressed continuous representation. We empirically demonstrate that reducing channel dimension is significantly more effective than spatial downsampling for both reconstruction and generation. Accordingly, we design an attention-based semantic compressor to distill dense features into a compact unified representation. Furthermore, we validate that the transfusion architecture surpasses query-based designs in convergence and consistency. Experiments demonstrate that UniCom achieves state-of-the-art generation performance among unified models. Notably, by preserving rich semantic priors, it delivers exceptional controllability in image editing and maintains image consistency even without relying on VAE.