Nächste visuelle Granularitätsgenerierung

Next Visual Granularity Generation

August 18, 2025

papers.authors: Yikai Wang, Zhouxia Wang, Zhonghua Wu, Qingyi Tao, Kang Liao, Chen Change Loy

cs.AI

papers.abstract

Wir schlagen einen neuartigen Ansatz zur Bildgenerierung vor, bei dem ein Bild in eine strukturierte Sequenz zerlegt wird, wobei jedes Element in der Sequenz die gleiche räumliche Auflösung aufweist, sich jedoch in der Anzahl der verwendeten eindeutigen Token unterscheidet, um unterschiedliche Grade visueller Granularität zu erfassen. Die Bildgenerierung erfolgt durch unser neu eingeführtes Next Visual Granularity (NVG) Framework, das eine visuelle Granularitätssequenz ausgehend von einem leeren Bild erzeugt und diese schrittweise, vom globalen Layout bis hin zu feinen Details, in strukturierter Weise verfeinert. Dieser iterative Prozess kodiert eine hierarchische, geschichtete Darstellung, die eine fein abgestimmte Kontrolle über den Generierungsprozess über mehrere Granularitätsebenen hinweg ermöglicht. Wir trainieren eine Reihe von NVG-Modellen für die klassenbedingte Bildgenerierung auf dem ImageNet-Datensatz und beobachten ein klares Skalierungsverhalten. Im Vergleich zur VAR-Serie übertrifft NVG diese durchweg in Bezug auf die FID-Werte (3.30 -> 3.03, 2.57 -> 2.44, 2.09 -> 2.06). Wir führen außerdem umfangreiche Analysen durch, um die Fähigkeiten und das Potenzial des NVG-Frameworks zu demonstrieren. Unser Code und unsere Modelle werden veröffentlicht.

English

We propose a novel approach to image generation by decomposing an image into a structured sequence, where each element in the sequence shares the same spatial resolution but differs in the number of unique tokens used, capturing different level of visual granularity. Image generation is carried out through our newly introduced Next Visual Granularity (NVG) generation framework, which generates a visual granularity sequence beginning from an empty image and progressively refines it, from global layout to fine details, in a structured manner. This iterative process encodes a hierarchical, layered representation that offers fine-grained control over the generation process across multiple granularity levels. We train a series of NVG models for class-conditional image generation on the ImageNet dataset and observe clear scaling behavior. Compared to the VAR series, NVG consistently outperforms it in terms of FID scores (3.30 -> 3.03, 2.57 ->2.44, 2.09 -> 2.06). We also conduct extensive analysis to showcase the capability and potential of the NVG framework. Our code and models will be released.