Generazione della Granularità Visiva Successiva

Next Visual Granularity Generation

August 18, 2025

Autori: Yikai Wang, Zhouxia Wang, Zhonghua Wu, Qingyi Tao, Kang Liao, Chen Change Loy

cs.AI

Abstract

Proponiamo un approccio innovativo alla generazione di immagini scomponendo un'immagine in una sequenza strutturata, in cui ogni elemento della sequenza condivide la stessa risoluzione spaziale ma differisce nel numero di token unici utilizzati, catturando diversi livelli di granularità visiva. La generazione delle immagini viene eseguita attraverso il nostro nuovo framework di generazione Next Visual Granularity (NVG), che genera una sequenza di granularità visiva partendo da un'immagine vuota e la affina progressivamente, dal layout globale ai dettagli fini, in modo strutturato. Questo processo iterativo codifica una rappresentazione gerarchica e stratificata che offre un controllo fine sul processo di generazione attraverso più livelli di granularità. Addestriamo una serie di modelli NVG per la generazione di immagini condizionata alla classe sul dataset ImageNet e osserviamo un chiaro comportamento di scaling. Rispetto alla serie VAR, NVG supera costantemente in termini di punteggi FID (3.30 -> 3.03, 2.57 ->2.44, 2.09 -> 2.06). Condividiamo inoltre un'analisi approfondita per dimostrare le capacità e il potenziale del framework NVG. Il nostro codice e i modelli saranno rilasciati.

English

We propose a novel approach to image generation by decomposing an image into a structured sequence, where each element in the sequence shares the same spatial resolution but differs in the number of unique tokens used, capturing different level of visual granularity. Image generation is carried out through our newly introduced Next Visual Granularity (NVG) generation framework, which generates a visual granularity sequence beginning from an empty image and progressively refines it, from global layout to fine details, in a structured manner. This iterative process encodes a hierarchical, layered representation that offers fine-grained control over the generation process across multiple granularity levels. We train a series of NVG models for class-conditional image generation on the ImageNet dataset and observe clear scaling behavior. Compared to the VAR series, NVG consistently outperforms it in terms of FID scores (3.30 -> 3.03, 2.57 ->2.44, 2.09 -> 2.06). We also conduct extensive analysis to showcase the capability and potential of the NVG framework. Our code and models will be released.