Управление визуальной генерацией в унифицированных мультимодальных моделях с супервизией понимания
Steering Visual Generation in Unified Multimodal Models with Understanding Supervision
May 7, 2026
Авторы: Zeyu Liu, Zanlin Ni, Yang Yue, Cheng Da, Huan Yang, Di Zhang, Kun Gai, Gao Huang
cs.AI
Аннотация
Единые мультимодальные модели призваны устранить разрыв между пониманием и генерацией. Однако для достижения конкурентоспособной производительности современные модели используют в значительной степени разобщённые компоненты понимания и генерации. Такая архитектура, хотя и эффективна для отдельных задач, ослабляет связь, необходимую для взаимного усиления, оставляя эмпирическую неопределённость относительно потенциального синергизма. Мы предлагаем целенаправленно восстановить этот синергизм с помощью понимание-ориентированного пост-обучения (UNO) — лёгковесной структуры, которая рассматривает понимание не только как отдельную задачу, но и как прямой сигнал для управления генеративными представлениями. Внедряя задачи, кодирующие семантическую абстракцию (описание изображений) и структурные детали (визуальная регрессия), мы обеспечиваем эффективный поток градиентов от понимания к генерации. Обширные эксперименты в области генерации и редактирования изображений демонстрируют, что понимание может служить эффективным катализатором генерации.
English
Unified multimodal models are envisioned to bridge the gap between understanding and generation. Yet, to achieve competitive performance, state-of-the-art models adopt largely decoupled understanding and generation components. This design, while effective for individual tasks, weakens the connection required for mutual enhancement, leaving the potential synergy empirically uncertain. We propose to explicitly restore this synergy by introducing Understanding-Oriented Post-Training (UNO), a lightweight framework that treats understanding not only as a distinct task, but also a direct supervisory signal to steer generative representations. By incorporating objectives that encode semantic abstraction (captioning) and structural details (visual regression), we enable effective gradient flow from understanding to generation. Extensive experiments on image generation and editing demonstrate that understanding can serve as an effective catalyst for generation.