Cosa conta per l'allineamento delle rappresentazioni: informazioni globali o struttura spaziale?
What matters for Representation Alignment: Global Information or Spatial Structure?
December 11, 2025
Autori: Jaskirat Singh, Xingjian Leng, Zongze Wu, Liang Zheng, Richard Zhang, Eli Shechtman, Saining Xie
cs.AI
Abstract
L'allineamento delle rappresentazioni (REPA) guida l'addestramento generativo distillando le rappresentazioni da un encoder visivo forte e preaddestrato verso le feature intermedie della diffusione. Investigiamo una questione fondamentale: quale aspetto della rappresentazione target è importante per la generazione, la sua informazione semantica globale (ad esempio, misurata dall'accuratezza su ImageNet-1K) o la sua struttura spaziale (cioè la similarità coseno a coppie tra i token di patch)? La saggezza prevalente sostiene che una migliore performance semantica globale porti a una generazione superiore come rappresentazione target. Per studiarlo, eseguiamo prima un'ampia analisi empirica su 27 diversi encoder visivi e diverse scale di modelli. I risultati sono sorprendenti; la struttura spaziale, più che la performance globale, guida la performance generativa di una rappresentazione target. Per approfondire, introduciamo due modifiche semplici, che accentuano specificamente il trasferimento dell'informazione spaziale. Sostituiamo il layer di proiezione MLP standard in REPA con un semplice layer convoluzionale e introduciamo un layer di normalizzazione spaziale per la rappresentazione esterna. Sorprendentemente, il nostro metodo semplice (implementato in <4 righe di codice), denominato iREPA, migliora consistentemente la velocità di convergenza di REPA, attraverso un insieme variegato di encoder visivi, dimensioni di modelli e varianti di addestramento (come REPA, REPA-E, Meanflow, JiT, ecc.). Il nostro lavoro motiva a riesaminare il meccanismo fondamentale di funzionamento dell'allineamento rappresentazionale e come possa essere sfruttato per un addestramento migliorato dei modelli generativi. Il codice e la pagina del progetto sono disponibili su https://end2end-diffusion.github.io/irepa.
English
Representation alignment (REPA) guides generative training by distilling representations from a strong, pretrained vision encoder to intermediate diffusion features. We investigate a fundamental question: what aspect of the target representation matters for generation, its global semantic information (e.g., measured by ImageNet-1K accuracy) or its spatial structure (i.e. pairwise cosine similarity between patch tokens)? Prevalent wisdom holds that stronger global semantic performance leads to better generation as a target representation. To study this, we first perform a large-scale empirical analysis across 27 different vision encoders and different model scales. The results are surprising; spatial structure, rather than global performance, drives the generation performance of a target representation. To further study this, we introduce two straightforward modifications, which specifically accentuate the transfer of spatial information. We replace the standard MLP projection layer in REPA with a simple convolution layer and introduce a spatial normalization layer for the external representation. Surprisingly, our simple method (implemented in <4 lines of code), termed iREPA, consistently improves convergence speed of REPA, across a diverse set of vision encoders, model sizes, and training variants (such as REPA, REPA-E, Meanflow, JiT etc). %, etc. Our work motivates revisiting the fundamental working mechanism of representational alignment and how it can be leveraged for improved training of generative models. The code and project page are available at https://end2end-diffusion.github.io/irepa