Appariement de Distributions de Représentations pour la Génération Visuelle en Une Étape

Résumé

Nous élucidons l'espace de conception de l'Appariement des Distributions de Représentations (RDM, pour *Representation Distribution Matching*), notre nom pour le paradigme qui entraîne un générateur d'images en une étape en appariant les distributions de caractéristiques générées et de référence sous des encodeurs pré-entraînés figés. Nous identifions deux axes de conception – comment les distributions sont comparées et les représentations dans lesquelles elles sont comparées – et des études contrôlées le long de ces axes aboutissent à trois résultats. Premièrement, le MMD classique, qui ne pouvait pas entraîner de générateurs convaincants il y a une décennie, devient un objectif fort et scalable une fois estimé correctement. Deuxièmement, le lot généré constitue alors la variable opérante, avec un optimum au-dessus de 2048, bien au-delà des tailles de lot habituelles. Troisièmement, toute représentation unique peut être exploitée, descendant en dessous du score réel tandis que les images restent visiblement fausses ; nous appariant donc contre une batterie équilibrée d'encodeurs et évaluons avec SW_r14, une distance de Sliced-Wasserstein sur 14 encodeurs qui est indépendante de la perte d’entraînement et résiste à l’exploitation. Combiner les choix préférés donne RDM amélioré (iRDM) : il établit l’état de l’art en une étape sur ImageNet à un SW_r14 de 1,30, corroboré par PickScore, un proxy de préférence humaine que notre objectif n’optimise jamais, qui le préfère au meilleur générateur en une étape précédent sur 71,2 % des échantillons appariés. La même recette post-entraîne le FLUX.2 [klein] en quatre étapes en un générateur en une étape, surpassant la version en quatre étapes sur GenEval, 0,826 contre 0,794, et sur PickScore, 22,76 contre 22,58, en 90 heures GPU H200. Page du projet : https://alan-lanfeng.github.io/rdm/.

English

We elucidate the design space of Representation Distribution Matching (RDM), our name for the paradigm that trains a one-step image generator by matching generated and reference feature distributions under frozen pretrained encoders. We identify two design axes, how the distributions are compared and the representations they are compared in, and controlled studies along them yield three findings. First, the classical MMD, which could not train convincing generators a decade ago, becomes a strong and scalable objective once estimated right. Second, the generated batch is then the operative variable, with an optimum above 2048, far beyond customary batch sizes. Third, any single representation can be gamed, driven below the real score while images stay visibly fake, so we match against a balanced battery of encoders and evaluate with SW_r14, a Sliced-Wasserstein distance over 14 encoders that is independent of the training loss and resists gaming. Combining the preferred choices yields improved RDM (iRDM): it sets the one-step state of the art on ImageNet at SW_r14 1.30, corroborated by PickScore, a human-preference proxy our objective never optimizes, which prefers it over the prior best one-step generator on 71.2% of matched samples. The same recipe post-trains the four-step FLUX.2 [klein] into a one-step generator, surpassing the four-step version on GenEval, 0.826 to 0.794, and on PickScore, 22.76 to 22.58, in 90 H200 GPU-hours. Project page: https://alan-lanfeng.github.io/rdm/.