Generative Verfeinerungsnetzwerke für die visuelle Synthese
Generative Refinement Networks for Visual Synthesis
April 14, 2026
Autoren: Jian Han, Jinlai Liu, Jiahuan Wang, Bingyue Peng, Zehuan Yuan
cs.AI
Zusammenfassung
Während Diffusionsmodelle das Feld der visuellen Erzeugung dominieren, sind sie rechenineffizient, da sie einen einheitlichen Rechenaufwand ungeachtet unterschiedlicher Komplexität anwenden. Im Gegensatz dazu sind autoregressive (AR) Modelle von Natur aus komplexitätsbewusst, was sich durch ihre variablen Likelihoods zeigt, werden jedoch oft durch verlustbehaftete diskrete Tokenisierung und Fehlerakkumulation behindert. In dieser Arbeit führen wir Generative Refinement Networks (GRN) ein, ein Paradigma der nächsten Generation für die visuelle Synthese, um diese Probleme zu adressieren. Im Kern adressiert GRN den Engpass der diskreten Tokenisierung durch eine theoretisch nahezu verlustfreie Hierarchische Binäre Quantisierung (HBQ), die eine Rekonstruktionsqualität erreicht, die mit kontinuierlichen Gegenstücken vergleichbar ist. Auf dem latenten Raum von HBQ aufbauend, erweitert GRN die AR-Generierung grundlegend mit einem globalen Verfeinerungsmechanismus, der Kunstwerke fortschreitend perfektioniert und korrigiert – ähnlich wie ein menschlicher Künstler, der malt. Zudem integriert GRN eine entropiegeführte Sampling-Strategie, die eine komplexitätsbewusste, adaptiv-schrittige Generierung ermöglicht, ohne die visuelle Qualität zu beeinträchtigen. Auf dem ImageNet-Benchmark setzt GRN neue Maßstäbe in der Bildrekonstruktion (0.56 rFID) und der klassenbedingten Bildgenerierung (1.81 gFID). Wir skalieren GRN auch auf die anspruchsvolleren Bereiche Text-zu-Bild- und Text-zu-Video-Generierung und erzielen bei gleichem Maßstab überlegene Leistungen. Wir veröffentlichen alle Modelle und Code, um die weitere Forschung zu GRN zu fördern.
English
While diffusion models dominate the field of visual generation, they are computationally inefficient, applying a uniform computational effort regardless of different complexity. In contrast, autoregressive (AR) models are inherently complexity-aware, as evidenced by their variable likelihoods, but are often hindered by lossy discrete tokenization and error accumulation. In this work, we introduce Generative Refinement Networks (GRN), a next-generation visual synthesis paradigm to address these issues. At its core, GRN addresses the discrete tokenization bottleneck through a theoretically near-lossless Hierarchical Binary Quantization (HBQ), achieving a reconstruction quality comparable to continuous counterparts. Built upon HBQ's latent space, GRN fundamentally upgrades AR generation with a global refinement mechanism that progressively perfects and corrects artworks -- like a human artist painting. Besides, GRN integrates an entropy-guided sampling strategy, enabling complexity-aware, adaptive-step generation without compromising visual quality. On the ImageNet benchmark, GRN establishes new records in image reconstruction (0.56 rFID) and class-conditional image generation (1.81 gFID). We also scale GRN to more challenging text-to-image and text-to-video generation, delivering superior performance on an equivalent scale. We release all models and code to foster further research on GRN.