Форсирование представления для унифицированных мультимодальных моделей без узкого места

Аннотация

Унифицированные мультимодальные модели (UMM) направлены на выполнение задач восприятия и генерации в рамках единой модели. Однако существующие UMM по-прежнему полагаются на замороженный, отдельно предобученный VAE для генерации изображений, что создает структурное узкое место. Наивное удаление такого VAE приводит к потере качества, поскольку модель должна одновременно изучать как высокоуровневую структуру, так и низкоуровневые детали на основе сырых пикселей. В данной статье мы предлагаем технику принудительного представления (Representation Forcing, RF), которая устраняет этот разрыв, делая предсказание представлений естественной способностью модели. Конкретно, RF принуждает декодер авторегрессивно предсказывать визуальные представления в качестве промежуточных токенов перед пикселями; затем эти токены остаются в контексте для управления пиксельной диффузией в рамках той же основной архитектуры. Превращая представления из выходных данных восприятия в цели генерации, RF устраняет необходимость во внешнем генеративном латентном пространстве. Мы обнаружили, что RF улучшает как понимание, так и генерацию. В задачах генерации изображений наша модель, работающая в пиксельном пространстве с RF, достигает результатов, сопоставимых с современными унифицированными моделями на основе VAE. В задачах понимания изображений пиксельная версия RF в целом превосходит свой аналог на основе VAE. В совокупности эти результаты представляют собой эффективный шаг к созданию сквозных UMM без узких мест.

English

Unified multimodal models (UMMs) aim to handle perception and generation in a single model. Yet existing UMMs still rely on a frozen, separately pretrained VAE for image generation, imposing a structural bottleneck. Naively removing it introduces a quality gap, as the model must learn both high-level structure and low-level details from raw pixels. In this paper, we propose Representation Forcing (RF), a technique that closes this gap by making representation prediction a native capability of the model. Concretely, RF forces the decoder to autoregressively predict visual representations as intermediate tokens before pixels; these tokens then stay in context to guide pixel diffusion within the same backbone. By turning representations from perception outputs into generation targets, RF eliminates the need for any external generative latent space. We find that RF benefits both understanding and generation. On image generation, our pixel-space model with RF matches state-of-the-art VAE-based unified models. On image understanding, pixel-space RF generally outperforms its VAE-based variant. Together, these results offer an effective step toward end-to-end, bottleneck-free UMMs.