Forçamento de Representação para Modelos Multimodais Unificados Livres de Gargalo

Resumo

Modelos multimodais unificados (MMUs) visam lidar com percepção e geração em um único modelo. No entanto, os MMUs existentes ainda dependem de um VAE congelado e pré-treinado separadamente para geração de imagens, impondo um gargalo estrutural. Removê-lo ingenuamente introduz uma lacuna de qualidade, pois o modelo precisa aprender tanto a estrutura de alto nível quanto os detalhes de baixo nível a partir de pixels brutos. Neste artigo, propomos o Forçamento de Representação (RF), uma técnica que elimina essa lacuna ao tornar a predição de representações uma capacidade nativa do modelo. Concretamente, o RF força o decodificador a predizer autoregressivamente representações visuais como tokens intermediários antes dos pixels; esses tokens então permanecem no contexto para guiar a difusão de pixels dentro do mesmo backbone. Ao transformar representações de saídas de percepção em alvos de geração, o RF elimina a necessidade de qualquer espaço latente generativo externo. Descobrimos que o RF beneficia tanto o entendimento quanto a geração. Na geração de imagens, nosso modelo baseado em pixels com RF iguala os modelos unificados baseados em VAE do estado-da-arte. No entendimento de imagens, o RF baseado em pixels geralmente supera sua variante baseada em VAE. Juntos, esses resultados representam um passo eficaz em direção a MMUs ponta a ponta e sem gargalo.

English

Unified multimodal models (UMMs) aim to handle perception and generation in a single model. Yet existing UMMs still rely on a frozen, separately pretrained VAE for image generation, imposing a structural bottleneck. Naively removing it introduces a quality gap, as the model must learn both high-level structure and low-level details from raw pixels. In this paper, we propose Representation Forcing (RF), a technique that closes this gap by making representation prediction a native capability of the model. Concretely, RF forces the decoder to autoregressively predict visual representations as intermediate tokens before pixels; these tokens then stay in context to guide pixel diffusion within the same backbone. By turning representations from perception outputs into generation targets, RF eliminates the need for any external generative latent space. We find that RF benefits both understanding and generation. On image generation, our pixel-space model with RF matches state-of-the-art VAE-based unified models. On image understanding, pixel-space RF generally outperforms its VAE-based variant. Together, these results offer an effective step toward end-to-end, bottleneck-free UMMs.