Steuerung der visuellen Generierung in einheitlichen multimodalen Modellen durch Verständnis-Supervision
Steering Visual Generation in Unified Multimodal Models with Understanding Supervision
May 7, 2026
Autoren: Zeyu Liu, Zanlin Ni, Yang Yue, Cheng Da, Huan Yang, Di Zhang, Kun Gai, Gao Huang
cs.AI
Zusammenfassung
Einheitliche multimodale Modelle sollen die Kluft zwischen Verständnis und Generierung überbrücken. Dennoch setzen State-of-the-Art-Modelle zur Erzielung wettbewerbsfähiger Leistungen weitgehend entkoppelte Komponenten für Verständnis und Generierung ein. Dieses Design, obwohl effektiv für einzelne Aufgaben, schwächt die für eine gegenseitige Verbesserung erforderliche Verbindung, sodass die potenzielle Synergie empirisch ungewiss bleibt. Wir schlagen vor, diese Synergie explizit wiederherzustellen, indem wir das Understanding-Oriented Post-Training (UNO) einführen, ein leichtgewichtiges Framework, das Verständnis nicht nur als separate Aufgabe, sondern auch als direktes Überwachungssignal zur Steuerung generativer Repräsentationen behandelt. Durch die Einbeziehung von Zielen, die semantische Abstraktion (Bildunterschriftenerstellung) und strukturelle Details (visuelle Regression) kodieren, ermöglichen wir einen effektiven Gradientenfluss vom Verständnis zur Generierung. Umfangreiche Experimente zur Bildgenerierung und -bearbeitung zeigen, dass Verständnis als effektiver Katalysator für die Generierung dienen kann.
English
Unified multimodal models are envisioned to bridge the gap between understanding and generation. Yet, to achieve competitive performance, state-of-the-art models adopt largely decoupled understanding and generation components. This design, while effective for individual tasks, weakens the connection required for mutual enhancement, leaving the potential synergy empirically uncertain. We propose to explicitly restore this synergy by introducing Understanding-Oriented Post-Training (UNO), a lightweight framework that treats understanding not only as a distinct task, but also a direct supervisory signal to steer generative representations. By incorporating objectives that encode semantic abstraction (captioning) and structural details (visual regression), we enable effective gradient flow from understanding to generation. Extensive experiments on image generation and editing demonstrate that understanding can serve as an effective catalyst for generation.