Sturing van visuele generatie in uniforme multimodale modellen met begripsupervisie
Steering Visual Generation in Unified Multimodal Models with Understanding Supervision
May 7, 2026
Auteurs: Zeyu Liu, Zanlin Ni, Yang Yue, Cheng Da, Huan Yang, Di Zhang, Kun Gai, Gao Huang
cs.AI
Samenvatting
Unified multimodale modellen zijn bedoeld om de kloof tussen begrip en generatie te overbruggen. Om concurrerende prestaties te bereiken, gebruiken state-of-the-art modellen echter grotendeels ontkoppelde begrips- en generatiecomponenten. Dit ontwerp, hoewel effectief voor individuele taken, verzwakt de verbinding die nodig is voor wederzijdse versterking, waardoor de potentiële synergie empirisch onzeker blijft. Wij stellen voor om deze synergie expliciet te herstellen door Understanding-Oriented Post-Training (UNO) te introduceren, een lichtgewicht raamwerk dat begrip niet alleen als een afzonderlijke taak behandelt, maar ook als een direct supervisiesignaal om generatieve representaties te sturen. Door doelstellingen op te nemen die semantische abstractie (captioning) en structurele details (visuele regressie) coderen, maken we een effectieve gradiëntstroom van begrip naar generatie mogelijk. Uitgebreide experimenten op het gebied van beeldgeneratie en -bewerking tonen aan dat begrip kan dienen als een effectieve katalysator voor generatie.
English
Unified multimodal models are envisioned to bridge the gap between understanding and generation. Yet, to achieve competitive performance, state-of-the-art models adopt largely decoupled understanding and generation components. This design, while effective for individual tasks, weakens the connection required for mutual enhancement, leaving the potential synergy empirically uncertain. We propose to explicitly restore this synergy by introducing Understanding-Oriented Post-Training (UNO), a lightweight framework that treats understanding not only as a distinct task, but also a direct supervisory signal to steer generative representations. By incorporating objectives that encode semantic abstraction (captioning) and structural details (visual regression), we enable effective gradient flow from understanding to generation. Extensive experiments on image generation and editing demonstrate that understanding can serve as an effective catalyst for generation.