Repräsentationsverteilungsabgleich für einschrittige visuelle Generierung

Zusammenfassung

Wir beleuchten den Designraum der Repräsentationsverteilungsanpassung (Representation Distribution Matching, RDM), unserem Begriff für das Paradigma, bei dem ein Ein-Schritt-Bildgenerator trainiert wird, indem erzeugte und Referenz-Merkmalsverteilungen unter eingefrorenen, vortrainierten Encodern abgeglichen werden. Wir identifizieren zwei Designachsen – wie die Verteilungen verglichen werden und in welchen Repräsentationen sie verglichen werden – und kontrollierte Studien entlang dieser Achsen liefern drei Erkenntnisse. Erstens: Der klassische MMD, der vor einem Jahrzehnt noch keine überzeugenden Generatoren trainieren konnte, wird zu einem starken und skalierbaren Ziel, sobald er richtig geschätzt wird. Zweitens: Der erzeugte Batch ist dann die operative Variable, mit einem Optimum oberhalb von 2048, weit über den üblichen Batch-Größen. Drittens: Jede einzelne Repräsentation kann ausgetrickst werden – sie sinkt unter den echten Wert, während Bilder sichtbar unecht bleiben – daher gleichen wir gegen eine ausgewogene Batterie von Encodern ab und evaluieren mit SW_r14, einem Sliced-Wasserstein-Abstand über 14 Encoder, der unabhängig vom Trainingsverlust ist und sich gegen Austricksen resistent zeigt. Die Kombination der bevorzugten Entscheidungen ergibt verbessertes RDM (iRDM): Es setzt den Ein-Schritt-Stand der Technik auf ImageNet bei SW_r14 1,30, bestätigt durch PickScore, einen menschlichen Präferenzproxy, den unser Ziel nie optimiert, und der iRDM in 71,2 % der gepaarten Stichproben gegenüber dem bisher besten Ein-Schritt-Generator bevorzugt. Das gleiche Rezept wandelt den Vier-Schritt-FLUX.2 [klein] in einen Ein-Schritt-Generator um, der die Vier-Schritt-Version bei GenEval, 0,826 zu 0,794, und bei PickScore, 22,76 zu 22,58, in 90 H200-GPU-Stunden übertrifft. Projektseite: https://alan-lanfeng.github.io/rdm/.

English

We elucidate the design space of Representation Distribution Matching (RDM), our name for the paradigm that trains a one-step image generator by matching generated and reference feature distributions under frozen pretrained encoders. We identify two design axes, how the distributions are compared and the representations they are compared in, and controlled studies along them yield three findings. First, the classical MMD, which could not train convincing generators a decade ago, becomes a strong and scalable objective once estimated right. Second, the generated batch is then the operative variable, with an optimum above 2048, far beyond customary batch sizes. Third, any single representation can be gamed, driven below the real score while images stay visibly fake, so we match against a balanced battery of encoders and evaluate with SW_r14, a Sliced-Wasserstein distance over 14 encoders that is independent of the training loss and resists gaming. Combining the preferred choices yields improved RDM (iRDM): it sets the one-step state of the art on ImageNet at SW_r14 1.30, corroborated by PickScore, a human-preference proxy our objective never optimizes, which prefers it over the prior best one-step generator on 71.2% of matched samples. The same recipe post-trains the four-step FLUX.2 [klein] into a one-step generator, surpassing the four-step version on GenEval, 0.826 to 0.794, and on PickScore, 22.76 to 22.58, in 90 H200 GPU-hours. Project page: https://alan-lanfeng.github.io/rdm/.