Reti di Raffinamento Generativo per la Sintesi Visiva

Generative Refinement Networks for Visual Synthesis

April 14, 2026

Autori: Jian Han, Jinlai Liu, Jiahuan Wang, Bingyue Peng, Zehuan Yuan

cs.AI

Abstract

Mentre i modelli di diffusione dominano il campo della generazione visiva, sono computazionalmente inefficienti, applicando uno sforzo computazionale uniforme indipendentemente dalla diversa complessità. Al contrario, i modelli autoregressivi (AR) sono intrinsecamente consapevoli della complessità, come evidenziato dalle loro verosimiglianze variabili, ma sono spesso ostacolati da una tokenizzazione discreta con perdita e dall'accumulo di errori. In questo lavoro, introduciamo le Generative Refinement Networks (GRN), un paradigma di sintesi visiva di prossima generazione per affrontare questi problemi. Il cuore di GRN risolve il collo di bottiglia della tokenizzazione discreta attraverso una Quantizzazione Binaria Gerarchica (HBQ) teoricamente quasi senza perdite, raggiungendo una qualità di ricostruzione paragonabile alle controparti continue. Costruito sullo spazio latente dell'HBQ, GRN migliora fondamentalmente la generazione AR con un meccanismo di rifinitura globale che perfeziona e corregge progressivamente le opere d'arte, simile a come dipinge un artista umano. Inoltre, GRN integra una strategia di campionamento guidata dall'entropia, che abilita una generazione adattiva e consapevole della complessità, senza compromettere la qualità visiva. Sul benchmark ImageNet, GRN stabilisce nuovi record nella ricostruzione di immagini (0.56 rFID) e nella generazione di immagini condizionata per classe (1.81 gFID). Abbiamo anche scalato GRN per la generazione testo-immagine e testo-video, più impegnative, ottenendo prestazioni superiori a parità di scala. Rilasciamo tutti i modelli e il codice per promuovere ulteriori ricerche su GRN.

English

While diffusion models dominate the field of visual generation, they are computationally inefficient, applying a uniform computational effort regardless of different complexity. In contrast, autoregressive (AR) models are inherently complexity-aware, as evidenced by their variable likelihoods, but are often hindered by lossy discrete tokenization and error accumulation. In this work, we introduce Generative Refinement Networks (GRN), a next-generation visual synthesis paradigm to address these issues. At its core, GRN addresses the discrete tokenization bottleneck through a theoretically near-lossless Hierarchical Binary Quantization (HBQ), achieving a reconstruction quality comparable to continuous counterparts. Built upon HBQ's latent space, GRN fundamentally upgrades AR generation with a global refinement mechanism that progressively perfects and corrects artworks -- like a human artist painting. Besides, GRN integrates an entropy-guided sampling strategy, enabling complexity-aware, adaptive-step generation without compromising visual quality. On the ImageNet benchmark, GRN establishes new records in image reconstruction (0.56 rFID) and class-conditional image generation (1.81 gFID). We also scale GRN to more challenging text-to-image and text-to-video generation, delivering superior performance on an equivalent scale. We release all models and code to foster further research on GRN.