Раскрытие потенциала предобученных моделей обработки изображений для семантического синтеза изображений

Unlocking Pre-trained Image Backbones for Semantic Image Synthesis

December 20, 2023

Авторы: Tariq Berrada, Jakob Verbeek, Camille Couprie, Karteek Alahari

cs.AI

Аннотация

Семантический синтез изображений, то есть генерация изображений на основе предоставленных пользователем семантических карт меток, является важной задачей условной генерации изображений, так как позволяет контролировать как содержание, так и пространственную компоновку создаваемых изображений. Хотя диффузионные модели значительно продвинули состояние дел в области генеративного моделирования изображений, итеративный характер их процесса вывода делает их вычислительно затратными. Другие подходы, такие как GAN, более эффективны, так как требуют всего одного прямого прохода для генерации, но качество изображений зачастую страдает на больших и разнообразных наборах данных. В данной работе мы предлагаем новый класс дискриминаторов GAN для семантического синтеза изображений, которые генерируют высокореалистичные изображения, используя предобученные сети для задач, таких как классификация изображений. Мы также представляем новую архитектуру генератора с улучшенным моделированием контекста и использованием кросс-внимания для внедрения шума в латентные переменные, что приводит к более разнообразным генерируемым изображениям. Наша модель, которую мы называем DP-SIMS, достигает наилучших результатов с точки зрения качества изображений и соответствия входным картам меток на наборах данных ADE-20K, COCO-Stuff и Cityscapes, превосходя современные диффузионные модели, при этом требуя на два порядка меньше вычислительных ресурсов для вывода.

English

Semantic image synthesis, i.e., generating images from user-provided semantic label maps, is an important conditional image generation task as it allows to control both the content as well as the spatial layout of generated images. Although diffusion models have pushed the state of the art in generative image modeling, the iterative nature of their inference process makes them computationally demanding. Other approaches such as GANs are more efficient as they only need a single feed-forward pass for generation, but the image quality tends to suffer on large and diverse datasets. In this work, we propose a new class of GAN discriminators for semantic image synthesis that generates highly realistic images by exploiting feature backbone networks pre-trained for tasks such as image classification. We also introduce a new generator architecture with better context modeling and using cross-attention to inject noise into latent variables, leading to more diverse generated images. Our model, which we dub DP-SIMS, achieves state-of-the-art results in terms of image quality and consistency with the input label maps on ADE-20K, COCO-Stuff, and Cityscapes, surpassing recent diffusion models while requiring two orders of magnitude less compute for inference.