Representatie Forceren voor Knelpuntvrije Uniforme Multimodale Modellen

Samenvatting

Uniforme multimodale modellen (UMM's) streven ernaar perceptie en generatie in één enkel model te combineren. Toch zijn bestaande UMM's nog steeds afhankelijk van een bevroren, apart voorgetrainde VAE voor beeldgeneratie, wat een structurele bottleneck oplevert. Het naïef verwijderen ervan introduceert een kwaliteitskloof, omdat het model zowel hoog-niveau structuur als laag-niveau details uit ruwe pixels moet leren. In dit artikel stellen we Representation Forcing (RF) voor, een techniek die deze kloof overbrugt door representatievoorspelling een native capaciteit van het model te maken. Concreet dwingt RF de decoder om autoregressief visuele representaties als intermediaire tokens te voorspellen voordat pixels worden gegenereerd; deze tokens blijven vervolgens in de context om pixeldiffusie binnen dezelfde backbone te sturen. Door representaties van perceptie-outputs om te zetten in generatiedoelen, elimineert RF de noodzaak voor een externe generatieve latentieruimte. We vinden dat RF zowel begrip als generatie ten goede komt. Op het gebied van beeldgeneratie evenaart ons pixelruimtemodel met RF state-of-the-art op VAE gebaseerde uniforme modellen. Op het gebied van beeldbegrip presteert RF in pixelruimte over het algemeen beter dan zijn op VAE gebaseerde variant. Samen bieden deze resultaten een effectieve stap in de richting van end-to-end, bottleneck-vrije UMM's.

English

Unified multimodal models (UMMs) aim to handle perception and generation in a single model. Yet existing UMMs still rely on a frozen, separately pretrained VAE for image generation, imposing a structural bottleneck. Naively removing it introduces a quality gap, as the model must learn both high-level structure and low-level details from raw pixels. In this paper, we propose Representation Forcing (RF), a technique that closes this gap by making representation prediction a native capability of the model. Concretely, RF forces the decoder to autoregressively predict visual representations as intermediate tokens before pixels; these tokens then stay in context to guide pixel diffusion within the same backbone. By turning representations from perception outputs into generation targets, RF eliminates the need for any external generative latent space. We find that RF benefits both understanding and generation. On image generation, our pixel-space model with RF matches state-of-the-art VAE-based unified models. On image understanding, pixel-space RF generally outperforms its VAE-based variant. Together, these results offer an effective step toward end-to-end, bottleneck-free UMMs.