Следующее поколение визуальной гранулярности

Next Visual Granularity Generation

August 18, 2025

Авторы: Yikai Wang, Zhouxia Wang, Zhonghua Wu, Qingyi Tao, Kang Liao, Chen Change Loy

cs.AI

Аннотация

Мы предлагаем новый подход к генерации изображений, заключающийся в разложении изображения на структурированную последовательность, где каждый элемент последовательности имеет одинаковое пространственное разрешение, но отличается количеством уникальных токенов, что позволяет захватывать различные уровни визуальной детализации. Генерация изображений осуществляется с помощью нашей новой структуры Next Visual Granularity (NVG), которая создает последовательность визуальной детализации, начиная с пустого изображения и постепенно уточняя его, от глобальной композиции до мелких деталей, в структурированной манере. Этот итеративный процесс кодирует иерархическое, слоистое представление, обеспечивая детализированный контроль над процессом генерации на нескольких уровнях детализации. Мы обучаем серию моделей NVG для условной генерации изображений по классам на наборе данных ImageNet и наблюдаем четкую масштабируемость. По сравнению с серией VAR, NVG стабильно превосходит её по показателям FID (3.30 -> 3.03, 2.57 -> 2.44, 2.09 -> 2.06). Мы также проводим обширный анализ, чтобы продемонстрировать возможности и потенциал структуры NVG. Наш код и модели будут опубликованы.

English

We propose a novel approach to image generation by decomposing an image into a structured sequence, where each element in the sequence shares the same spatial resolution but differs in the number of unique tokens used, capturing different level of visual granularity. Image generation is carried out through our newly introduced Next Visual Granularity (NVG) generation framework, which generates a visual granularity sequence beginning from an empty image and progressively refines it, from global layout to fine details, in a structured manner. This iterative process encodes a hierarchical, layered representation that offers fine-grained control over the generation process across multiple granularity levels. We train a series of NVG models for class-conditional image generation on the ImageNet dataset and observe clear scaling behavior. Compared to the VAR series, NVG consistently outperforms it in terms of FID scores (3.30 -> 3.03, 2.57 ->2.44, 2.09 -> 2.06). We also conduct extensive analysis to showcase the capability and potential of the NVG framework. Our code and models will be released.