Desbloqueando Backbones Pré-treinados de Imagem para Síntese Semântica de Imagens

Unlocking Pre-trained Image Backbones for Semantic Image Synthesis

December 20, 2023

Autores: Tariq Berrada, Jakob Verbeek, Camille Couprie, Karteek Alahari

cs.AI

Resumo

A síntese semântica de imagens, ou seja, a geração de imagens a partir de mapas de rótulos semânticos fornecidos pelo usuário, é uma importante tarefa de geração condicional de imagens, pois permite controlar tanto o conteúdo quanto o layout espacial das imagens geradas. Embora os modelos de difusão tenham avançado o estado da arte na modelagem generativa de imagens, a natureza iterativa de seu processo de inferência os torna computacionalmente exigentes. Outras abordagens, como GANs, são mais eficientes, pois exigem apenas uma única passagem feed-forward para geração, mas a qualidade da imagem tende a sofrer em conjuntos de dados grandes e diversos. Neste trabalho, propomos uma nova classe de discriminadores GAN para síntese semântica de imagens que gera imagens altamente realistas ao explorar redes de backbone de recursos pré-treinadas para tarefas como classificação de imagens. Também introduzimos uma nova arquitetura de gerador com melhor modelagem de contexto e usando atenção cruzada para injetar ruído em variáveis latentes, resultando em imagens geradas mais diversas. Nosso modelo, que denominamos DP-SIMS, alcança resultados de última geração em termos de qualidade de imagem e consistência com os mapas de rótulos de entrada em ADE-20K, COCO-Stuff e Cityscapes, superando modelos de difusão recentes enquanto requer duas ordens de magnitude a menos de computação para inferência.

English

Semantic image synthesis, i.e., generating images from user-provided semantic label maps, is an important conditional image generation task as it allows to control both the content as well as the spatial layout of generated images. Although diffusion models have pushed the state of the art in generative image modeling, the iterative nature of their inference process makes them computationally demanding. Other approaches such as GANs are more efficient as they only need a single feed-forward pass for generation, but the image quality tends to suffer on large and diverse datasets. In this work, we propose a new class of GAN discriminators for semantic image synthesis that generates highly realistic images by exploiting feature backbone networks pre-trained for tasks such as image classification. We also introduce a new generator architecture with better context modeling and using cross-attention to inject noise into latent variables, leading to more diverse generated images. Our model, which we dub DP-SIMS, achieves state-of-the-art results in terms of image quality and consistency with the input label maps on ADE-20K, COCO-Stuff, and Cityscapes, surpassing recent diffusion models while requiring two orders of magnitude less compute for inference.