UniFork : Exploration de l'alignement des modalités pour une compréhension et une génération multimodales unifiées

UniFork: Exploring Modality Alignment for Unified Multimodal Understanding and Generation

June 20, 2025

Auteurs: Teng Li, Quanfeng Lu, Lirui Zhao, Hao Li, Xizhou Zhu, Yu Qiao, Jun Zhang, Wenqi Shao

cs.AI

Résumé

La compréhension et la génération unifiées d'images sont apparues comme un paradigme prometteur dans l'intelligence artificielle multimodale. Malgré les progrès récents, la conception architecturale optimale pour de tels modèles unifiés reste un défi ouvert. Dans ce travail, nous commençons par analyser les comportements d'alignement des modalités des modèles experts spécifiques à une tâche pour la compréhension et la génération, ainsi que des modèles unifiés actuels. Notre analyse révèle une observation cruciale : les tâches de compréhension bénéficient d'un alignement progressivement croissant des modalités à travers la profondeur du réseau, ce qui aide à construire des informations sémantiques pour une meilleure compréhension ; en revanche, les tâches de génération suivent une tendance différente : l'alignement des modalités augmente dans les couches initiales mais diminue dans les couches profondes pour récupérer les détails spatiaux. Ces schémas d'alignement divergents créent un conflit fondamental dans les architectures Transformer entièrement partagées, où un flux de représentation uniforme conduit souvent à des compromis de performance entre les deux tâches. Motivés par cette découverte, nous introduisons UniFork, une architecture en forme de Y qui partage les couches superficielles pour l'apprentissage de représentations inter-tâches, tout en employant des branches spécifiques aux tâches dans les couches plus profondes pour éviter les interférences entre tâches. Cette conception équilibre efficacement l'apprentissage partagé et la spécialisation des tâches. À travers des expériences d'ablation approfondies, nous démontrons qu'UniFork surpasse systématiquement les architectures Transformer entièrement partagées conventionnelles et atteint des performances égales ou supérieures à celles des modèles spécifiques à une tâche.

English

Unified image understanding and generation has emerged as a promising paradigm in multimodal artificial intelligence. Despite recent progress, the optimal architectural design for such unified models remains an open challenge. In this work, we start by analyzing the modality alignment behaviors of task-specific expert models for understanding and generation, as well as current unified models. Our analysis reveals a crucial observation: understanding tasks benefit from a progressively increasing modality alignment across network depth, which helps build up semantic information for better comprehension; In contrast, generation tasks follow a different trend: modality alignment increases in the early layers but decreases in the deep layers to recover spatial details. These divergent alignment patterns create a fundamental conflict in fully shared Transformer backbones, where a uniform representational flow often leads to performance compromises across two tasks. Motivated by this finding, we introduce UniFork, a novel Y-shaped architecture that shares the shallow layers for cross-task representation learning, while employing task-specific branches in deeper layers to avoid task interference. This design effectively balances shared learning and task specialization. Through extensive ablation experiments, we demonstrate that Unifork consistently outperforms conventional fully shared Transformer architectures, and achieves performance on par with or better than task-specific models.