Сопоставление распределений представлений для одношаговой визуальной генерации

Аннотация

Мы раскрываем пространство дизайна Сопоставления распределений представлений (RDM) — нашей парадигмы, в которой одношаговый генератор изображений обучается путём согласования распределений признаков сгенерированных и эталонных данных в рамках замороженных предобученных кодировщиков. Мы выделяем две оси дизайна: как сравниваются распределения и в каких представлениях они сравниваются. Контролируемые исследования вдоль этих осей приводят к трём выводам. Во-первых, классический MMD, который десятилетие назад не мог обучить убедительные генераторы, становится сильной и масштабируемой целевой функцией при правильной оценке. Во-вторых, генерируемый батч становится действующей переменной с оптимумом выше 2048, что далеко за пределами обычных размеров батча. В-третьих, любое единственное представление может быть обыграно: его показатель оказывается ниже реального, в то время как изображения остаются видимо поддельными. Поэтому мы согласуем сбалансированный набор кодировщиков и оцениваем с помощью SW_r14 — расстояния Срезанного Вассерштейна по 14 кодировщикам, которое независимо от функции потерь обучения и устойчиво к обыгрыванию. Комбинирование предпочтительных вариантов даёт улучшенный RDM (iRDM): он устанавливает одношаговый уровень современного искусства на ImageNet с SW_r14 1.30, что подтверждается PickScore — прокси человеческих предпочтений, которое наша целевая функция никогда не оптимизирует, но которое предпочитает iRDM лучшему предыдущему одношаговому генератору на 71.2% согласованных выборок. Тот же рецепт дообучает четырёхшаговый FLUX.2 [klein] в одношаговый генератор, превосходя четырёхшаговую версию по GenEval (0.826 против 0.794) и PickScore (22.76 против 22.58) за 90 GPU-часов на H200. Страница проекта: https://alan-lanfeng.github.io/rdm/.

English

We elucidate the design space of Representation Distribution Matching (RDM), our name for the paradigm that trains a one-step image generator by matching generated and reference feature distributions under frozen pretrained encoders. We identify two design axes, how the distributions are compared and the representations they are compared in, and controlled studies along them yield three findings. First, the classical MMD, which could not train convincing generators a decade ago, becomes a strong and scalable objective once estimated right. Second, the generated batch is then the operative variable, with an optimum above 2048, far beyond customary batch sizes. Third, any single representation can be gamed, driven below the real score while images stay visibly fake, so we match against a balanced battery of encoders and evaluate with SW_r14, a Sliced-Wasserstein distance over 14 encoders that is independent of the training loss and resists gaming. Combining the preferred choices yields improved RDM (iRDM): it sets the one-step state of the art on ImageNet at SW_r14 1.30, corroborated by PickScore, a human-preference proxy our objective never optimizes, which prefers it over the prior best one-step generator on 71.2% of matched samples. The same recipe post-trains the four-step FLUX.2 [klein] into a one-step generator, surpassing the four-step version on GenEval, 0.826 to 0.794, and on PickScore, 22.76 to 22.58, in 90 H200 GPU-hours. Project page: https://alan-lanfeng.github.io/rdm/.