Próxima Geração de Granularidade Visual

Next Visual Granularity Generation

August 18, 2025

Autores: Yikai Wang, Zhouxia Wang, Zhonghua Wu, Qingyi Tao, Kang Liao, Chen Change Loy

cs.AI

Resumo

Propomos uma nova abordagem para geração de imagens, decompondo uma imagem em uma sequência estruturada, onde cada elemento da sequência compartilha a mesma resolução espacial, mas difere no número de tokens únicos utilizados, capturando diferentes níveis de granularidade visual. A geração de imagens é realizada por meio de nosso recém-introduzido framework de Geração de Granularidade Visual Seguinte (Next Visual Granularity - NVG), que gera uma sequência de granularidade visual começando a partir de uma imagem vazia e a refina progressivamente, do layout global aos detalhes finos, de maneira estruturada. Esse processo iterativo codifica uma representação hierárquica e em camadas, oferecendo controle refinado sobre o processo de geração em múltiplos níveis de granularidade. Treinamos uma série de modelos NVG para geração de imagens condicionadas por classe no conjunto de dados ImageNet e observamos um comportamento claro de escalabilidade. Em comparação com a série VAR, o NVG supera consistentemente em termos de pontuações FID (3.30 -> 3.03, 2.57 -> 2.44, 2.09 -> 2.06). Também realizamos uma análise extensa para demonstrar a capacidade e o potencial do framework NVG. Nosso código e modelos serão liberados.

English

We propose a novel approach to image generation by decomposing an image into a structured sequence, where each element in the sequence shares the same spatial resolution but differs in the number of unique tokens used, capturing different level of visual granularity. Image generation is carried out through our newly introduced Next Visual Granularity (NVG) generation framework, which generates a visual granularity sequence beginning from an empty image and progressively refines it, from global layout to fine details, in a structured manner. This iterative process encodes a hierarchical, layered representation that offers fine-grained control over the generation process across multiple granularity levels. We train a series of NVG models for class-conditional image generation on the ImageNet dataset and observe clear scaling behavior. Compared to the VAR series, NVG consistently outperforms it in terms of FID scores (3.30 -> 3.03, 2.57 ->2.44, 2.09 -> 2.06). We also conduct extensive analysis to showcase the capability and potential of the NVG framework. Our code and models will be released.