Generatieve Verfijningsnetwerken voor Visuele Synthese
Generative Refinement Networks for Visual Synthesis
April 14, 2026
Auteurs: Jian Han, Jinlai Liu, Jiahuan Wang, Bingyue Peng, Zehuan Yuan
cs.AI
Samenvatting
Hoewel diffusiemodellen het domein van visuele generatie domineren, zijn ze computationeel inefficiënt, waarbij ze een uniforme rekeninspanning toepassen ongeacht de verschillende complexiteit. Autoregressieve (AR) modellen daarentegen zijn van nature complexiteitsbewust, zoals blijkt uit hun variabele waarschijnlijkheden, maar worden vaak belemmerd door lossy discrete tokenisatie en foutaccumulatie. In dit werk introduceren we Generative Refinement Networks (GRN), een volgende-generatie paradigma voor visuele synthese om deze problemen aan te pakken. De kern van GRN lost de flessenhals van discrete tokenisatie op via een theoretisch bijna verliesvrije Hiërarchische Binaire Kwantisatie (HBQ), waarmee een reconstructiekwaliteit vergelijkbaar met continue tegenhangers wordt bereikt. Gebouwd op de latente ruimte van HBQ, upgradeert GRN fundamenteel AR-generatie met een globaal verfijningsmechanisme dat kunstwerken geleidelijk perfectioneert en corrigeert – zoals een menselijke kunstenaar schildert. Daarnaast integreert GRN een entropie-gestuurde samplingstrategie, die complexiteitsbewuste, adaptieve-stap generatie mogelijk maakt zonder in te leveren op visuele kwaliteit. Op de ImageNet-benchmark vestigt GRN nieuwe records in beeldreconstructie (0.56 rFID) en klasse-conditionele beeldgeneratie (1.81 gFID). We schalen GRN ook op naar de meer uitdagende tekst-naar-beeld en tekst-naar-video generatie, waarbij superieure prestaties op equivalente schaal worden geleverd. We maken alle modellen en code vrij om verder onderzoek naar GRN te bevorderen.
English
While diffusion models dominate the field of visual generation, they are computationally inefficient, applying a uniform computational effort regardless of different complexity. In contrast, autoregressive (AR) models are inherently complexity-aware, as evidenced by their variable likelihoods, but are often hindered by lossy discrete tokenization and error accumulation. In this work, we introduce Generative Refinement Networks (GRN), a next-generation visual synthesis paradigm to address these issues. At its core, GRN addresses the discrete tokenization bottleneck through a theoretically near-lossless Hierarchical Binary Quantization (HBQ), achieving a reconstruction quality comparable to continuous counterparts. Built upon HBQ's latent space, GRN fundamentally upgrades AR generation with a global refinement mechanism that progressively perfects and corrects artworks -- like a human artist painting. Besides, GRN integrates an entropy-guided sampling strategy, enabling complexity-aware, adaptive-step generation without compromising visual quality. On the ImageNet benchmark, GRN establishes new records in image reconstruction (0.56 rFID) and class-conditional image generation (1.81 gFID). We also scale GRN to more challenging text-to-image and text-to-video generation, delivering superior performance on an equivalent scale. We release all models and code to foster further research on GRN.