Déverrouiller les architectures pré-entraînées pour la synthèse sémantique d'images

Unlocking Pre-trained Image Backbones for Semantic Image Synthesis

December 20, 2023

Auteurs: Tariq Berrada, Jakob Verbeek, Camille Couprie, Karteek Alahari

cs.AI

Résumé

La synthèse d'images sémantiques, c'est-à-dire la génération d'images à partir de cartes de labels sémantiques fournies par l'utilisateur, est une tâche importante de génération d'images conditionnelles, car elle permet de contrôler à la fois le contenu et la disposition spatiale des images générées. Bien que les modèles de diffusion aient repoussé l'état de l'art en modélisation générative d'images, leur processus d'inférence itératif les rend exigeants en termes de calcul. D'autres approches, comme les GAN, sont plus efficaces car elles ne nécessitent qu'un seul passage en avant pour la génération, mais la qualité des images tend à souffrir sur des ensembles de données vastes et diversifiés. Dans ce travail, nous proposons une nouvelle classe de discriminateurs GAN pour la synthèse d'images sémantiques, qui génère des images hautement réalistes en exploitant des réseaux de base de caractéristiques pré-entraînés pour des tâches telles que la classification d'images. Nous introduisons également une nouvelle architecture de générateur avec une meilleure modélisation du contexte et utilisant l'attention croisée pour injecter du bruit dans les variables latentes, conduisant à des images générées plus diversifiées. Notre modèle, que nous nommons DP-SIMS, atteint des résultats de pointe en termes de qualité d'image et de cohérence avec les cartes de labels en entrée sur ADE-20K, COCO-Stuff et Cityscapes, surpassant les récents modèles de diffusion tout en nécessitant deux ordres de grandeur de moins de calcul pour l'inférence.

English

Semantic image synthesis, i.e., generating images from user-provided semantic label maps, is an important conditional image generation task as it allows to control both the content as well as the spatial layout of generated images. Although diffusion models have pushed the state of the art in generative image modeling, the iterative nature of their inference process makes them computationally demanding. Other approaches such as GANs are more efficient as they only need a single feed-forward pass for generation, but the image quality tends to suffer on large and diverse datasets. In this work, we propose a new class of GAN discriminators for semantic image synthesis that generates highly realistic images by exploiting feature backbone networks pre-trained for tasks such as image classification. We also introduce a new generator architecture with better context modeling and using cross-attention to inject noise into latent variables, leading to more diverse generated images. Our model, which we dub DP-SIMS, achieves state-of-the-art results in terms of image quality and consistency with the input label maps on ADE-20K, COCO-Stuff, and Cityscapes, surpassing recent diffusion models while requiring two orders of magnitude less compute for inference.