Próxima Generación de Granularidad Visual

Next Visual Granularity Generation

August 18, 2025

Autores: Yikai Wang, Zhouxia Wang, Zhonghua Wu, Qingyi Tao, Kang Liao, Chen Change Loy

cs.AI

Resumen

Proponemos un enfoque novedoso para la generación de imágenes al descomponer una imagen en una secuencia estructurada, donde cada elemento de la secuencia comparte la misma resolución espacial pero difiere en el número de tokens únicos utilizados, capturando diferentes niveles de granularidad visual. La generación de imágenes se lleva a cabo a través de nuestro recién introducido marco de Generación de Granularidad Visual Siguiente (NVG, por sus siglas en inglés), el cual genera una secuencia de granularidad visual comenzando desde una imagen vacía y la refina progresivamente, desde el diseño global hasta los detalles finos, de manera estructurada. Este proceso iterativo codifica una representación jerárquica y en capas que ofrece un control detallado sobre el proceso de generación en múltiples niveles de granularidad. Entrenamos una serie de modelos NVG para la generación de imágenes condicionadas por clase en el conjunto de datos ImageNet y observamos un comportamiento de escalabilidad claro. En comparación con la serie VAR, NVG supera consistentemente en términos de puntuaciones FID (3.30 -> 3.03, 2.57 -> 2.44, 2.09 -> 2.06). También realizamos un análisis extenso para mostrar la capacidad y el potencial del marco NVG. Nuestro código y modelos serán publicados.

English

We propose a novel approach to image generation by decomposing an image into a structured sequence, where each element in the sequence shares the same spatial resolution but differs in the number of unique tokens used, capturing different level of visual granularity. Image generation is carried out through our newly introduced Next Visual Granularity (NVG) generation framework, which generates a visual granularity sequence beginning from an empty image and progressively refines it, from global layout to fine details, in a structured manner. This iterative process encodes a hierarchical, layered representation that offers fine-grained control over the generation process across multiple granularity levels. We train a series of NVG models for class-conditional image generation on the ImageNet dataset and observe clear scaling behavior. Compared to the VAR series, NVG consistently outperforms it in terms of FID scores (3.30 -> 3.03, 2.57 ->2.44, 2.09 -> 2.06). We also conduct extensive analysis to showcase the capability and potential of the NVG framework. Our code and models will be released.