Что важнее для выравнивания представлений: глобальная информация или пространственная структура?
What matters for Representation Alignment: Global Information or Spatial Structure?
December 11, 2025
Авторы: Jaskirat Singh, Xingjian Leng, Zongze Wu, Liang Zheng, Richard Zhang, Eli Shechtman, Saining Xie
cs.AI
Аннотация
Выравнивание представлений (REPA) направляет генеративное обучение путем дистилляции представлений из мощного предварительно обученного визуального энкодера в промежуточные признаки диффузии. Мы исследуем фундаментальный вопрос: какой аспект целевого представления важен для генерации — его глобальная семантическая информация (например, измеряемая точностью на ImageNet-1K) или его пространственная структура (т.е. попарное косинусное сходство между патч-токенами)? Распространенное мнение гласит, что лучшая глобальная семантическая производительность приводит к лучшей генерации в качестве целевого представления. Чтобы изучить это, мы сначала проводим масштабный эмпирический анализ на основе 27 различных визуальных энкодеров и различных масштабов моделей. Результаты удивительны: пространственная структура, а не глобальная производительность, определяет качество генерации целевого представления. Для дальнейшего исследования мы вводим две простые модификации, которые специально усиливают передачу пространственной информации. Мы заменяем стандартный MLP-проекционный слой в REPA на простой сверточный слой и вводим слой пространственной нормализации для внешнего представления. Удивительно, но наш простой метод (реализованный менее чем в 4 строках кода), названный iREPA, последовательно улучшает скорость сходимости REPA для разнообразных визуальных энкодеров, размеров моделей и вариантов обучения (таких как REPA, REPA-E, Meanflow, JiT и др.). Наша работа мотивирует пересмотр фундаментального механизма работы выравнивания представлений и того, как его можно использовать для улучшения обучения генеративных моделей. Код и страница проекта доступны по адресу https://end2end-diffusion.github.io/irepa.
English
Representation alignment (REPA) guides generative training by distilling representations from a strong, pretrained vision encoder to intermediate diffusion features. We investigate a fundamental question: what aspect of the target representation matters for generation, its global semantic information (e.g., measured by ImageNet-1K accuracy) or its spatial structure (i.e. pairwise cosine similarity between patch tokens)? Prevalent wisdom holds that stronger global semantic performance leads to better generation as a target representation. To study this, we first perform a large-scale empirical analysis across 27 different vision encoders and different model scales. The results are surprising; spatial structure, rather than global performance, drives the generation performance of a target representation. To further study this, we introduce two straightforward modifications, which specifically accentuate the transfer of spatial information. We replace the standard MLP projection layer in REPA with a simple convolution layer and introduce a spatial normalization layer for the external representation. Surprisingly, our simple method (implemented in <4 lines of code), termed iREPA, consistently improves convergence speed of REPA, across a diverse set of vision encoders, model sizes, and training variants (such as REPA, REPA-E, Meanflow, JiT etc). %, etc. Our work motivates revisiting the fundamental working mechanism of representational alignment and how it can be leveraged for improved training of generative models. The code and project page are available at https://end2end-diffusion.github.io/irepa