O que Importa para o Alinhamento de Representações: Informação Global ou Estrutura Espacial?
What matters for Representation Alignment: Global Information or Spatial Structure?
December 11, 2025
Autores: Jaskirat Singh, Xingjian Leng, Zongze Wu, Liang Zheng, Richard Zhang, Eli Shechtman, Saining Xie
cs.AI
Resumo
O alinhamento de representações (REPA) orienta o treinamento generativo através da destilação de representações de um codificador visual forte e pré-treinado para características intermediárias de difusão. Investigamos uma questão fundamental: que aspeto da representação-alvo é importante para a geração - a sua informação semântica global (ex: medida pela precisão no ImageNet-1K) ou a sua estrutura espacial (isto é, a similaridade de cosseno entre pares de tokens de *patch*)? A sabedoria prevalecente defende que um melhor desempenho semântico global conduz a uma melhor geração como representação-alvo. Para estudar isto, realizamos primeiro uma análise empírica em larga escala através de 27 codificadores visuais diferentes e diferentes escalas de modelo. Os resultados são surpreendentes; a estrutura espacial, e não o desempenho global, impulsiona o desempenho de geração de uma representação-alvo. Para aprofundar este estudo, introduzimos duas modificações simples, que acentuam especificamente a transferência de informação espacial. Substituímos a camada de projeção MLP padrão no REPA por uma simples camada convolucional e introduzimos uma camada de normalização espacial para a representação externa. Surpreendentemente, o nosso método simples (implementado em <4 linhas de código), denominado iREPA, melhora consistentemente a velocidade de convergência do REPA, através de um conjunto diversificado de codificadores visuais, tamanhos de modelo e variantes de treino (como REPA, REPA-E, Meanflow, JiT, etc.). O nosso trabalho motiva uma revisão do mecanismo fundamental de funcionamento do alinhamento representacional e de como este pode ser aproveitado para melhorar o treinamento de modelos generativos. O código e a página do projeto estão disponíveis em https://end2end-diffusion.github.io/irepa.
English
Representation alignment (REPA) guides generative training by distilling representations from a strong, pretrained vision encoder to intermediate diffusion features. We investigate a fundamental question: what aspect of the target representation matters for generation, its global semantic information (e.g., measured by ImageNet-1K accuracy) or its spatial structure (i.e. pairwise cosine similarity between patch tokens)? Prevalent wisdom holds that stronger global semantic performance leads to better generation as a target representation. To study this, we first perform a large-scale empirical analysis across 27 different vision encoders and different model scales. The results are surprising; spatial structure, rather than global performance, drives the generation performance of a target representation. To further study this, we introduce two straightforward modifications, which specifically accentuate the transfer of spatial information. We replace the standard MLP projection layer in REPA with a simple convolution layer and introduce a spatial normalization layer for the external representation. Surprisingly, our simple method (implemented in <4 lines of code), termed iREPA, consistently improves convergence speed of REPA, across a diverse set of vision encoders, model sizes, and training variants (such as REPA, REPA-E, Meanflow, JiT etc). %, etc. Our work motivates revisiting the fundamental working mechanism of representational alignment and how it can be leveraged for improved training of generative models. The code and project page are available at https://end2end-diffusion.github.io/irepa