Direcionamento da Geração Visual em Modelos Multimodais Unificados com Supervisão de Compreensão

Resumo

Modelos multimodais unificados são concebidos para reduzir a lacuna entre compreensão e geração. No entanto, para alcançar desempenho competitivo, os modelos de última geração adotam componentes amplamente dissociados de compreensão e geração. Esse projeto, embora eficaz para tarefas individuais, enfraquece a conexão necessária para aprimoramento mútuo, deixando a sinergia potencial empiricamente incerta. Propomos restaurar explicitamente essa sinergia por meio do Pós-Treinamento Orientado à Compreensão (UNO), uma estrutura leve que trata a compreensão não apenas como uma tarefa distinta, mas também como um sinal supervisor direto para orientar representações generativas. Ao incorporar objetivos que codificam abstração semântica (legendas) e detalhes estruturais (regressão visual), permitimos um fluxo eficaz de gradientes da compreensão para a geração. Experimentos extensivos em geração e edição de imagens demonstram que a compreensão pode servir como um catalisador eficaz para a geração.

English

Unified multimodal models are envisioned to bridge the gap between understanding and generation. Yet, to achieve competitive performance, state-of-the-art models adopt largely decoupled understanding and generation components. This design, while effective for individual tasks, weakens the connection required for mutual enhancement, leaving the potential synergy empirically uncertain. We propose to explicitly restore this synergy by introducing Understanding-Oriented Post-Training (UNO), a lightweight framework that treats understanding not only as a distinct task, but also a direct supervisory signal to steer generative representations. By incorporating objectives that encode semantic abstraction (captioning) and structural details (visual regression), we enable effective gradient flow from understanding to generation. Extensive experiments on image generation and editing demonstrate that understanding can serve as an effective catalyst for generation.