UniCom: Modelado Multimodal Unificado mediante Representaciones Semánticas Continuas Comprimidas
UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations
March 11, 2026
Autores: Yaqi Zhao, Wang Lin, Zijian Zhang, Miles Yang, Jingyuan Chen, Wentao Zhang, Zhao Zhong, Liefeng Bo
cs.AI
Resumen
Los modelos multimodales unificados actuales suelen depender de tokenizadores visuales discretos para salvar la brecha modal. Sin embargo, la discretización descarta inevitablemente información semántica de grano fino, lo que conduce a un rendimiento subóptimo en tareas de comprensión visual. Por el contrario, modelar directamente representaciones semánticas continuas (por ejemplo, CLIP, SigLIP) plantea desafíos significativos en el modelado generativo de alta dimensionalidad, resultando en una convergencia lenta e inestabilidad en el entrenamiento. Para resolver este dilema, presentamos UniCom, un marco unificado que armoniza la comprensión y generación multimodal mediante representación continua comprimida. Demostramos empíricamente que reducir la dimensión de canales es significativamente más efectivo que el submuestreo espacial tanto para la reconstrucción como para la generación. En consecuencia, diseñamos un compresor semántico basado en atención para destilar características densas en una representación unificada compacta. Además, validamos que la arquitectura de transfusión supera a los diseños basados en consultas en convergencia y consistencia. Los experimentos demuestran que UniCom logra un rendimiento generativo de vanguardia entre los modelos unificados. Notablemente, al preservar ricos *priors* semánticos, ofrece una excepcional capacidad de control en la edición de imágenes y mantiene la consistencia de la imagen incluso sin depender de VAE.
English
Current unified multimodal models typically rely on discrete visual tokenizers to bridge the modality gap. However, discretization inevitably discards fine-grained semantic information, leading to suboptimal performance in visual understanding tasks. Conversely, directly modeling continuous semantic representations (e.g., CLIP, SigLIP) poses significant challenges in high-dimensional generative modeling, resulting in slow convergence and training instability. To resolve this dilemma, we introduce UniCom, a unified framework that harmonizes multimodal understanding and generation via compressed continuous representation. We empirically demonstrate that reducing channel dimension is significantly more effective than spatial downsampling for both reconstruction and generation. Accordingly, we design an attention-based semantic compressor to distill dense features into a compact unified representation. Furthermore, we validate that the transfusion architecture surpasses query-based designs in convergence and consistency. Experiments demonstrate that UniCom achieves state-of-the-art generation performance among unified models. Notably, by preserving rich semantic priors, it delivers exceptional controllability in image editing and maintains image consistency even without relying on VAE.