Redes de Refinamento Generativo para Síntese Visual
Generative Refinement Networks for Visual Synthesis
April 14, 2026
Autores: Jian Han, Jinlai Liu, Jiahuan Wang, Bingyue Peng, Zehuan Yuan
cs.AI
Resumo
Embora os modelos de difusão dominem o campo da geração visual, eles são computacionalmente ineficientes, aplicando um esforço computacional uniforme independentemente da complexidade. Em contraste, os modelos autoregressivos (AR) são inerentemente conscientes da complexidade, como evidenciado por suas verossimilhanças variáveis, mas são frequentemente limitados pela tokenização discreta com perdas e pelo acúmulo de erros. Neste trabalho, introduzimos as Redes de Refinamento Generativo (GRN), um paradigma de síntese visual de próxima geração para abordar essas questões. Em sua essência, a GRN resolve o gargalo da tokenização discreta por meio de uma Quantização Binária Hierárquica (HBQ) teoricamente quase sem perdas, alcançando uma qualidade de reconstrução comparável a contrapartes contínuas. Construída sobre o espaço latente da HBQ, a GRN atualiza fundamentalmente a geração AR com um mecanismo de refinamento global que aperfeiçoa e corrige progressivamente as obras – como um artista humano pintando. Além disso, a GRN integra uma estratégia de amostragem guiada por entropia, permitindo geração adaptativa de passos e consciente da complexidade sem comprometer a qualidade visual. No benchmark ImageNet, a GRN estabelece novos recordes em reconstrução de imagem (0.56 rFID) e geração de imagem condicionada por classe (1.81 gFID). Também dimensionamos a GRN para geração texto-para-imagem e texto-para-vídeo mais desafiadoras, entregando desempenho superior em escala equivalente. Disponibilizamos todos os modelos e códigos para promover pesquisas futuras sobre a GRN.
English
While diffusion models dominate the field of visual generation, they are computationally inefficient, applying a uniform computational effort regardless of different complexity. In contrast, autoregressive (AR) models are inherently complexity-aware, as evidenced by their variable likelihoods, but are often hindered by lossy discrete tokenization and error accumulation. In this work, we introduce Generative Refinement Networks (GRN), a next-generation visual synthesis paradigm to address these issues. At its core, GRN addresses the discrete tokenization bottleneck through a theoretically near-lossless Hierarchical Binary Quantization (HBQ), achieving a reconstruction quality comparable to continuous counterparts. Built upon HBQ's latent space, GRN fundamentally upgrades AR generation with a global refinement mechanism that progressively perfects and corrects artworks -- like a human artist painting. Besides, GRN integrates an entropy-guided sampling strategy, enabling complexity-aware, adaptive-step generation without compromising visual quality. On the ImageNet benchmark, GRN establishes new records in image reconstruction (0.56 rFID) and class-conditional image generation (1.81 gFID). We also scale GRN to more challenging text-to-image and text-to-video generation, delivering superior performance on an equivalent scale. We release all models and code to foster further research on GRN.