UniCom: Унифицированное мультимодальное моделирование через сжатые непрерывные семантические представления

UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations

March 11, 2026

Авторы: Yaqi Zhao, Wang Lin, Zijian Zhang, Miles Yang, Jingyuan Chen, Wentao Zhang, Zhao Zhong, Liefeng Bo

cs.AI

Аннотация

Современные унифицированные мультимодальные модели обычно используют дискретные визуальные токенизаторы для преодоления межмодального разрыва. Однако дискретизация неизбежно отбрасывает детальную семантическую информацию, что приводит к неоптимальной производительности в задачах визуального понимания. В свою очередь, прямое моделирование непрерывных семантических представлений (например, CLIP, SigLIP) создает значительные трудности в генеративном моделировании высокой размерности, вызывая медленную сходимость и нестабильность обучения. Для решения этой дилеммы мы представляем UniCom — унифицированную архитектуру, которая согласовывает мультимодальное понимание и генерацию через сжатое непрерывное представление. Эмпирически мы демонстрируем, что сокращение размерности каналов значительно эффективнее пространственного уменьшения разрешения как для реконструкции, так и для генерации. Соответственно, мы разрабатываем компрессор на основе внимания для дистилляции плотных признаков в компактное унифицированное представление. Кроме того, мы подтверждаем, что архитектура трансфузии превосходит подходы на основе запросов по сходимости и согласованности. Эксперименты показывают, что UniCom достигает передовой генерационной производительности среди унифицированных моделей. Примечательно, что сохраняя богатые семантические априорные знания, модель демонстрирует исключительную управляемость в редактировании изображений и поддерживает целостность изображения даже без использования VAE.

English

Current unified multimodal models typically rely on discrete visual tokenizers to bridge the modality gap. However, discretization inevitably discards fine-grained semantic information, leading to suboptimal performance in visual understanding tasks. Conversely, directly modeling continuous semantic representations (e.g., CLIP, SigLIP) poses significant challenges in high-dimensional generative modeling, resulting in slow convergence and training instability. To resolve this dilemma, we introduce UniCom, a unified framework that harmonizes multimodal understanding and generation via compressed continuous representation. We empirically demonstrate that reducing channel dimension is significantly more effective than spatial downsampling for both reconstruction and generation. Accordingly, we design an attention-based semantic compressor to distill dense features into a compact unified representation. Furthermore, we validate that the transfusion architecture surpasses query-based designs in convergence and consistency. Experiments demonstrate that UniCom achieves state-of-the-art generation performance among unified models. Notably, by preserving rich semantic priors, it delivers exceptional controllability in image editing and maintains image consistency even without relying on VAE.