UniFork: Untersuchung der Modalitätsausrichtung für einheitliches multimodales Verständnis und Generierung

UniFork: Exploring Modality Alignment for Unified Multimodal Understanding and Generation

June 20, 2025

Autoren: Teng Li, Quanfeng Lu, Lirui Zhao, Hao Li, Xizhou Zhu, Yu Qiao, Jun Zhang, Wenqi Shao

cs.AI

Zusammenfassung

Die einheitliche Bildverständnis- und -generierung hat sich als vielversprechendes Paradigma in der multimodalen künstlichen Intelligenz etabliert. Trotz jüngster Fortschritte bleibt die optimale Architekturgestaltung für solche einheitlichen Modelle eine offene Herausforderung. In dieser Arbeit analysieren wir zunächst die Modalitätsausrichtungsverhalten von aufgabenspezifischen Expertenmodellen für Verständnis und Generierung sowie aktueller einheitlicher Modelle. Unsere Analyse offenbart eine entscheidende Beobachtung: Verständnisaufgaben profitieren von einer progressiv zunehmenden Modalitätsausrichtung über die Netzwerktiefe hinweg, was dazu beiträgt, semantische Informationen für ein besseres Verständnis aufzubauen. Im Gegensatz dazu folgen Generierungsaufgaben einem anderen Trend: Die Modalitätsausrichtung nimmt in den frühen Schichten zu, verringert sich jedoch in den tieferen Schichten, um räumliche Details wiederherzustellen. Diese divergenten Ausrichtungsmuster erzeugen einen grundlegenden Konflikt in vollständig geteilten Transformer-Backbones, bei denen ein einheitlicher Repräsentationsfluss oft zu Leistungseinbußen bei beiden Aufgaben führt. Motiviert durch diese Erkenntnis führen wir UniFork ein, eine neuartige Y-förmige Architektur, die die flachen Schichten für das aufgabenübergreifende Repräsentationslernen teilt, während in tieferen Schichten aufgabenspezifische Zweige eingesetzt werden, um Aufgabeninterferenzen zu vermeiden. Dieses Design balanciert effektiv gemeinsames Lernen und Aufgaben-Spezialisierung. Durch umfangreiche Ablationsexperimente zeigen wir, dass UniFork konventionelle vollständig geteilte Transformer-Architekturen konsequent übertrifft und eine Leistung erreicht, die mit aufgabenspezifischen Modellen vergleichbar oder besser ist.

English

Unified image understanding and generation has emerged as a promising paradigm in multimodal artificial intelligence. Despite recent progress, the optimal architectural design for such unified models remains an open challenge. In this work, we start by analyzing the modality alignment behaviors of task-specific expert models for understanding and generation, as well as current unified models. Our analysis reveals a crucial observation: understanding tasks benefit from a progressively increasing modality alignment across network depth, which helps build up semantic information for better comprehension; In contrast, generation tasks follow a different trend: modality alignment increases in the early layers but decreases in the deep layers to recover spatial details. These divergent alignment patterns create a fundamental conflict in fully shared Transformer backbones, where a uniform representational flow often leads to performance compromises across two tasks. Motivated by this finding, we introduce UniFork, a novel Y-shaped architecture that shares the shallow layers for cross-task representation learning, while employing task-specific branches in deeper layers to avoid task interference. This design effectively balances shared learning and task specialization. Through extensive ablation experiments, we demonstrate that Unifork consistently outperforms conventional fully shared Transformer architectures, and achieves performance on par with or better than task-specific models.