UniFork: Исследование согласования модальностей для унифицированного многомодального понимания и генерации

UniFork: Exploring Modality Alignment for Unified Multimodal Understanding and Generation

June 20, 2025

Авторы: Teng Li, Quanfeng Lu, Lirui Zhao, Hao Li, Xizhou Zhu, Yu Qiao, Jun Zhang, Wenqi Shao

cs.AI

Аннотация

Унифицированное понимание и генерация изображений стали перспективной парадигмой в мультимодальном искусственном интеллекте. Несмотря на недавние успехи, оптимальная архитектурная конструкция для таких унифицированных моделей остается открытой проблемой. В данной работе мы начинаем с анализа поведения согласования модальностей в специализированных моделях для задач понимания и генерации, а также в современных унифицированных моделях. Наш анализ выявил ключевое наблюдение: задачи понимания выигрывают от постепенно увеличивающегося согласования модальностей по глубине сети, что помогает накапливать семантическую информацию для лучшего понимания; напротив, задачи генерации следуют иной тенденции: согласование модальностей увеличивается в начальных слоях, но уменьшается в глубоких слоях для восстановления пространственных деталей. Эти расходящиеся паттерны согласования создают фундаментальный конфликт в полностью общих трансформерных архитектурах, где единый поток представлений часто приводит к компромиссам в производительности для обеих задач. Вдохновленные этим открытием, мы представляем UniFork, новую Y-образную архитектуру, которая разделяет начальные слои для кросс-задачного обучения представлений, используя при этом специализированные ветви в глубоких слоях для предотвращения взаимного влияния задач. Этот дизайн эффективно балансирует общее обучение и специализацию задач. В ходе обширных экспериментов мы демонстрируем, что UniFork стабильно превосходит традиционные полностью общие трансформерные архитектуры и достигает производительности на уровне или выше, чем специализированные модели.

English

Unified image understanding and generation has emerged as a promising paradigm in multimodal artificial intelligence. Despite recent progress, the optimal architectural design for such unified models remains an open challenge. In this work, we start by analyzing the modality alignment behaviors of task-specific expert models for understanding and generation, as well as current unified models. Our analysis reveals a crucial observation: understanding tasks benefit from a progressively increasing modality alignment across network depth, which helps build up semantic information for better comprehension; In contrast, generation tasks follow a different trend: modality alignment increases in the early layers but decreases in the deep layers to recover spatial details. These divergent alignment patterns create a fundamental conflict in fully shared Transformer backbones, where a uniform representational flow often leads to performance compromises across two tasks. Motivated by this finding, we introduce UniFork, a novel Y-shaped architecture that shares the shallow layers for cross-task representation learning, while employing task-specific branches in deeper layers to avoid task interference. This design effectively balances shared learning and task specialization. Through extensive ablation experiments, we demonstrate that Unifork consistently outperforms conventional fully shared Transformer architectures, and achieves performance on par with or better than task-specific models.