Volgende Visuele Granulariteitsgeneratie

Next Visual Granularity Generation

August 18, 2025

Auteurs: Yikai Wang, Zhouxia Wang, Zhonghua Wu, Qingyi Tao, Kang Liao, Chen Change Loy

cs.AI

Samenvatting

Wij stellen een nieuwe benadering voor beeldgeneratie voor door een afbeelding te ontbinden in een gestructureerde reeks, waarbij elk element in de reeks dezelfde ruimtelijke resolutie deelt maar verschilt in het aantal unieke tokens dat wordt gebruikt, waardoor verschillende niveaus van visuele granulariteit worden vastgelegd. Beeldgeneratie wordt uitgevoerd via ons nieuw geïntroduceerde Next Visual Granularity (NVG) generatiekader, dat een visuele granulariteitsreeks genereert, beginnend vanuit een lege afbeelding en deze geleidelijk verfijnt, van globale lay-out tot fijne details, op een gestructureerde manier. Dit iteratieve proces codeert een hiërarchische, gelaagde representatie die fijnmazige controle biedt over het generatieproces op meerdere granulariteitsniveaus. We trainen een reeks NVG-modellen voor klasse-conditionele beeldgeneratie op de ImageNet-dataset en observeren een duidelijke schaalbaarheid. In vergelijking met de VAR-serie presteert NVG consistent beter in termen van FID-scores (3.30 -> 3.03, 2.57 -> 2.44, 2.09 -> 2.06). We voeren ook uitgebreide analyses uit om de mogelijkheden en het potentieel van het NVG-kader te demonstreren. Onze code en modellen zullen worden vrijgegeven.

English

We propose a novel approach to image generation by decomposing an image into a structured sequence, where each element in the sequence shares the same spatial resolution but differs in the number of unique tokens used, capturing different level of visual granularity. Image generation is carried out through our newly introduced Next Visual Granularity (NVG) generation framework, which generates a visual granularity sequence beginning from an empty image and progressively refines it, from global layout to fine details, in a structured manner. This iterative process encodes a hierarchical, layered representation that offers fine-grained control over the generation process across multiple granularity levels. We train a series of NVG models for class-conditional image generation on the ImageNet dataset and observe clear scaling behavior. Compared to the VAR series, NVG consistently outperforms it in terms of FID scores (3.30 -> 3.03, 2.57 ->2.44, 2.09 -> 2.06). We also conduct extensive analysis to showcase the capability and potential of the NVG framework. Our code and models will be released.