Forçage de représentation pour des modèles multimodaux unifiés sans goulot d'étranglement

Résumé

Les modèles multimodaux unifiés (UMMs) visent à prendre en charge la perception et la génération au sein d’un seul modèle. Cependant, les UMMs existants reposent encore sur un VAE pré-entraîné séparément et figé pour la génération d’images, ce qui impose un goulot d’étranglement structurel. Le supprimer naïvement introduit un écart de qualité, car le modèle doit apprendre à la fois la structure de haut niveau et les détails de bas niveau à partir des pixels bruts. Dans cet article, nous proposons le Forçage de Représentation (RF), une technique qui comble cet écart en faisant de la prédiction de représentation une capacité native du modèle. Concrètement, RF force le décodeur à prédire de manière autorégressive des représentations visuelles en tant que jetons intermédiaires avant les pixels ; ces jetons restent ensuite en contexte pour guider la diffusion des pixels au sein de la même architecture. En transformant les représentations issues de la perception en cibles de génération, RF élimine le besoin d’un espace latent génératif externe. Nous constatons que RF bénéficie à la fois à la compréhension et à la génération. En matière de génération d’images, notre modèle dans l’espace pixel avec RF égalise les performances des modèles unifiés basés sur un VAE de pointe. Pour la compréhension d’images, le RF dans l’espace pixel surpasse généralement sa variante basée sur un VAE. Ensemble, ces résultats constituent une avancée efficace vers des UMMs de bout en bout, sans goulot d’étranglement.

English

Unified multimodal models (UMMs) aim to handle perception and generation in a single model. Yet existing UMMs still rely on a frozen, separately pretrained VAE for image generation, imposing a structural bottleneck. Naively removing it introduces a quality gap, as the model must learn both high-level structure and low-level details from raw pixels. In this paper, we propose Representation Forcing (RF), a technique that closes this gap by making representation prediction a native capability of the model. Concretely, RF forces the decoder to autoregressively predict visual representations as intermediate tokens before pixels; these tokens then stay in context to guide pixel diffusion within the same backbone. By turning representations from perception outputs into generation targets, RF eliminates the need for any external generative latent space. We find that RF benefits both understanding and generation. On image generation, our pixel-space model with RF matches state-of-the-art VAE-based unified models. On image understanding, pixel-space RF generally outperforms its VAE-based variant. Together, these results offer an effective step toward end-to-end, bottleneck-free UMMs.