¿Qué es lo que importa para la alineación de representaciones: ¿Información global o estructura espacial?
What matters for Representation Alignment: Global Information or Spatial Structure?
December 11, 2025
Autores: Jaskirat Singh, Xingjian Leng, Zongze Wu, Liang Zheng, Richard Zhang, Eli Shechtman, Saining Xie
cs.AI
Resumen
La alineación de representaciones (REPA) guía el entrenamiento generativo mediante la destilación de representaciones desde un codificador visual fuerte y preentrenado hacia características intermedias de difusión. Investigamos una pregunta fundamental: ¿qué aspecto de la representación objetivo importa para la generación, su información semántica global (por ejemplo, medida por la precisión en ImageNet-1K) o su estructura espacial (es decir, la similitud del coseno entre pares de tokens de parche)? La sabiduría predominante sostiene que un mejor rendimiento semántico global conduce a una mejor generación como representación objetivo. Para estudiar esto, primero realizamos un análisis empírico a gran escala con 27 codificadores visuales diferentes y diferentes escalas de modelo. Los resultados son sorprendentes; la estructura espacial, más que el rendimiento global, impulsa el rendimiento generativo de una representación objetivo. Para estudiar esto más a fondo, introducimos dos modificaciones sencillas que acentúan específicamente la transferencia de información espacial. Reemplazamos la capa de proyección MLP estándar en REPA con una simple capa de convolución e introducimos una capa de normalización espacial para la representación externa. Sorprendentemente, nuestro método simple (implementado en <4 líneas de código), denominado iREPA, mejora consistentemente la velocidad de convergencia de REPA en diversos codificadores visuales, tamaños de modelo y variantes de entrenamiento (como REPA, REPA-E, Meanflow, JiT, etc.). Nuestro trabajo motiva revisitar el mecanismo fundamental de funcionamiento de la alineación representacional y cómo puede aprovecharse para mejorar el entrenamiento de modelos generativos. El código y la página del proyecto están disponibles en https://end2end-diffusion.github.io/irepa.
English
Representation alignment (REPA) guides generative training by distilling representations from a strong, pretrained vision encoder to intermediate diffusion features. We investigate a fundamental question: what aspect of the target representation matters for generation, its global semantic information (e.g., measured by ImageNet-1K accuracy) or its spatial structure (i.e. pairwise cosine similarity between patch tokens)? Prevalent wisdom holds that stronger global semantic performance leads to better generation as a target representation. To study this, we first perform a large-scale empirical analysis across 27 different vision encoders and different model scales. The results are surprising; spatial structure, rather than global performance, drives the generation performance of a target representation. To further study this, we introduce two straightforward modifications, which specifically accentuate the transfer of spatial information. We replace the standard MLP projection layer in REPA with a simple convolution layer and introduce a spatial normalization layer for the external representation. Surprisingly, our simple method (implemented in <4 lines of code), termed iREPA, consistently improves convergence speed of REPA, across a diverse set of vision encoders, model sizes, and training variants (such as REPA, REPA-E, Meanflow, JiT etc). %, etc. Our work motivates revisiting the fundamental working mechanism of representational alignment and how it can be leveraged for improved training of generative models. The code and project page are available at https://end2end-diffusion.github.io/irepa