Wat is van belang voor Representatie-uitlijning: Globale informatie of ruimtelijke structuur?

What matters for Representation Alignment: Global Information or Spatial Structure?

December 11, 2025

Auteurs: Jaskirat Singh, Xingjian Leng, Zongze Wu, Liang Zheng, Richard Zhang, Eli Shechtman, Saining Xie

cs.AI

Samenvatting

Representatie-uitlijning (REPA) stuurt generatieve training door representaties te destilleren van een sterke, vooraf getrainde visie-encoder naar tussenliggende diffusiekenmerken. Wij onderzoeken een fundamentele vraag: welk aspect van de doelrepresentatie van belang is voor generatie, de globale semantische informatie (bijvoorbeeld gemeten door ImageNet-1K nauwkeurigheid) of de ruimtelijke structuur (d.w.z. paarsgewijze cosinusgelijkenis tussen patchtokens)? De heersende opvatting is dat een sterkere globale semantische prestatie leidt tot betere generatie als doelrepresentatie. Om dit te bestuderen, voeren we eerst een grootschalige empirische analyse uit over 27 verschillende visie-encoders en verschillende modelschalen. De resultaten zijn verrassend; de ruimtelijke structuur, en niet de globale prestatie, drijft de generatieprestatie van een doelrepresentatie. Om dit verder te onderzoeken, introduceren we twee eenvoudige aanpassingen die specifiek de overdracht van ruimtelijke informatie benadrukken. We vervangen de standaard MLP-projectielaag in REPA door een eenvoudige convolutielaag en introduceren een ruimtelijke normalisatielaag voor de externe representatie. Verrassend genoeg verbetert onze eenvoudige methode (geïmplementeerd in <4 regels code), genaamd iREPA, consistent de convergentiesnelheid van REPA, over een diverse reeks visie-encoders, modelgroottes en trainingsvarianten (zoals REPA, REPA-E, Meanflow, JiT, etc.). Ons werk motiveert een herevaluatie van het fundamentele werkingsmechanisme van representatie-uitlijning en hoe deze kan worden benut voor verbeterde training van generatieve modellen. De code en projectpagina zijn beschikbaar op https://end2end-diffusion.github.io/irepa.

English

Representation alignment (REPA) guides generative training by distilling representations from a strong, pretrained vision encoder to intermediate diffusion features. We investigate a fundamental question: what aspect of the target representation matters for generation, its global semantic information (e.g., measured by ImageNet-1K accuracy) or its spatial structure (i.e. pairwise cosine similarity between patch tokens)? Prevalent wisdom holds that stronger global semantic performance leads to better generation as a target representation. To study this, we first perform a large-scale empirical analysis across 27 different vision encoders and different model scales. The results are surprising; spatial structure, rather than global performance, drives the generation performance of a target representation. To further study this, we introduce two straightforward modifications, which specifically accentuate the transfer of spatial information. We replace the standard MLP projection layer in REPA with a simple convolution layer and introduce a spatial normalization layer for the external representation. Surprisingly, our simple method (implemented in <4 lines of code), termed iREPA, consistently improves convergence speed of REPA, across a diverse set of vision encoders, model sizes, and training variants (such as REPA, REPA-E, Meanflow, JiT etc). %, etc. Our work motivates revisiting the fundamental working mechanism of representational alignment and how it can be leveraged for improved training of generative models. The code and project page are available at https://end2end-diffusion.github.io/irepa