Was zählt für die Repräsentationsausrichtung: Globale Informationen oder räumliche Struktur?

What matters for Representation Alignment: Global Information or Spatial Structure?

December 11, 2025

papers.authors: Jaskirat Singh, Xingjian Leng, Zongze Wu, Liang Zheng, Richard Zhang, Eli Shechtman, Saining Xie

cs.AI

papers.abstract

Repräsentationsausrichtung (REPA) leitet generatives Training durch Destillation von Repräsentationen aus einem starken, vortrainierten Vision-Encoder zu intermediären Diffusionsmerkmalen. Wir untersuchen eine grundlegende Frage: Welcher Aspekt der Zielrepräsentation ist für die Generierung entscheidend – ihre globale semantische Information (z.B. gemessen an ImageNet-1K-Genauigkeit) oder ihre räumliche Struktur (d.h. paarweise Kosinusähnlichkeit zwischen Patch-Tokens)? Die vorherrschende Meinung geht davon aus, dass eine stärkere globale semantische Leistung zu besserer Generierung als Zielrepräsentation führt. Um dies zu untersuchen, führen wir zunächst eine groß angelegte empirische Analyse über 27 verschiedene Vision-Encoder und verschiedene Modellgrößen hinweg durch. Die Ergebnisse sind überraschend; die räumliche Struktur – nicht die globale Leistung – treibt die Generierungsleistung einer Zielrepräsentation an. Zur vertieften Untersuchung führen wir zwei einfache Modifikationen ein, die gezielt den Transfer räumlicher Information betonen. Wir ersetzen die standardmäßige MLP-Projektionsschicht in REPA durch eine einfache Faltungsschicht und führen eine räumliche Normalisierungsschicht für die externe Repräsentation ein. Überraschenderweise verbessert unsere einfache Methode (implementiert in <4 Codezeilen), genannt iREPA, konsistent die Konvergenzgeschwindigkeit von REPA über eine Vielzahl von Vision-Encodern, Modellgrößen und Trainingsvarianten hinweg (wie REPA, REPA-E, Meanflow, JiT usw.). Unsere Arbeit motiviert eine Neubetrachtung des grundlegenden Wirkmechanismus von Repräsentationsausrichtung und wie diese für verbessertes Training generativer Modelle genutzt werden kann. Der Code und die Projektseite sind verfügbar unter https://end2end-diffusion.github.io/irepa.

English

Representation alignment (REPA) guides generative training by distilling representations from a strong, pretrained vision encoder to intermediate diffusion features. We investigate a fundamental question: what aspect of the target representation matters for generation, its global semantic information (e.g., measured by ImageNet-1K accuracy) or its spatial structure (i.e. pairwise cosine similarity between patch tokens)? Prevalent wisdom holds that stronger global semantic performance leads to better generation as a target representation. To study this, we first perform a large-scale empirical analysis across 27 different vision encoders and different model scales. The results are surprising; spatial structure, rather than global performance, drives the generation performance of a target representation. To further study this, we introduce two straightforward modifications, which specifically accentuate the transfer of spatial information. We replace the standard MLP projection layer in REPA with a simple convolution layer and introduce a spatial normalization layer for the external representation. Surprisingly, our simple method (implemented in <4 lines of code), termed iREPA, consistently improves convergence speed of REPA, across a diverse set of vision encoders, model sizes, and training variants (such as REPA, REPA-E, Meanflow, JiT etc). %, etc. Our work motivates revisiting the fundamental working mechanism of representational alignment and how it can be leveraged for improved training of generative models. The code and project page are available at https://end2end-diffusion.github.io/irepa