Генеративные сети уточнения для визуального синтеза

Generative Refinement Networks for Visual Synthesis

April 14, 2026

Авторы: Jian Han, Jinlai Liu, Jiahuan Wang, Bingyue Peng, Zehuan Yuan

cs.AI

Аннотация

В то время как диффузионные модели доминируют в области визуальной генерации, они вычислительно неэффективны, применяя единые вычислительные усилия независимо от различной сложности данных. В отличие от них, авторегрессионные (AR) модели по своей природе учитывают сложность, что подтверждается их переменными правдоподобиями, но они часто ограничены потерей информации при дискретном токенизации и накоплением ошибок. В данной работе мы представляем Generative Refinement Networks (GRN) — парадигму визуального синтеза следующего поколения, призванную решить эти проблемы. Основой GRN является преодоление узкого места дискретной токенизации с помощью теоретически практически беcпотерьной Иерархической Бинарной Квантования (HBQ), достигающей качества реконструкции, сопоставимого с непрерывными аналогами. Построенная на латентном пространстве HBQ, модель GRN кардинально улучшает AR-генерацию за счёт механизма глобального уточнения, который прогрессивно совершенствует и корректирует произведения — подобно тому, как рисует художник. Кроме того, GRN интегрирует стратегию сэмплирования, управляемую энтропией, что позволяет осуществлять учитывающее сложность, адаптивное по шагам генерацию без ущерба для визуального качества. На benchmark ImageNet GRN устанавливает новые рекорды в реконструкции изображений (0.56 rFID) и в условной генерации изображений по классам (1.81 gFID). Мы также масштабировали GRN для более сложных задач генерации изображений и видео по текстовому описанию, демонстрируя превосходную производительность при эквивалентном масштабе. Мы публикуем все модели и код для стимулирования дальнейших исследований GRN.

English

While diffusion models dominate the field of visual generation, they are computationally inefficient, applying a uniform computational effort regardless of different complexity. In contrast, autoregressive (AR) models are inherently complexity-aware, as evidenced by their variable likelihoods, but are often hindered by lossy discrete tokenization and error accumulation. In this work, we introduce Generative Refinement Networks (GRN), a next-generation visual synthesis paradigm to address these issues. At its core, GRN addresses the discrete tokenization bottleneck through a theoretically near-lossless Hierarchical Binary Quantization (HBQ), achieving a reconstruction quality comparable to continuous counterparts. Built upon HBQ's latent space, GRN fundamentally upgrades AR generation with a global refinement mechanism that progressively perfects and corrects artworks -- like a human artist painting. Besides, GRN integrates an entropy-guided sampling strategy, enabling complexity-aware, adaptive-step generation without compromising visual quality. On the ImageNet benchmark, GRN establishes new records in image reconstruction (0.56 rFID) and class-conditional image generation (1.81 gFID). We also scale GRN to more challenging text-to-image and text-to-video generation, delivering superior performance on an equivalent scale. We release all models and code to foster further research on GRN.