Het ontsluiten van vooraf getrainde beeldbackbones voor semantische beeldgeneratie

Unlocking Pre-trained Image Backbones for Semantic Image Synthesis

December 20, 2023

Auteurs: Tariq Berrada, Jakob Verbeek, Camille Couprie, Karteek Alahari

cs.AI

Samenvatting

Semantische beeldgeneratie, oftewel het genereren van beelden op basis van door de gebruiker aangeleverde semantische labelkaarten, is een belangrijke taak binnen conditionele beeldgeneratie, omdat het zowel de inhoud als de ruimtelijke lay-out van gegenereerde beelden mogelijk maakt. Hoewel diffusiemodellen de standaard hebben verhoogd in generatieve beeldmodellering, maakt het iteratieve karakter van hun inferentieproces ze rekenkundig veeleisend. Andere benaderingen, zoals GANs, zijn efficiënter omdat ze slechts één feed-forward-pass nodig hebben voor generatie, maar de beeldkwaliteit lijdt vaak onder grote en diverse datasets. In dit werk stellen we een nieuwe klasse van GAN-discriminatoren voor semantische beeldgeneratie voor, die zeer realistische beelden genereert door gebruik te maken van feature backbone-netwerken die vooraf zijn getraind voor taken zoals beeldclassificatie. We introduceren ook een nieuwe generatorarchitectuur met betere contextmodellering en het gebruik van cross-attention om ruis in latente variabelen te injecteren, wat leidt tot meer diverse gegenereerde beelden. Ons model, dat we DP-SIMS noemen, behaalt state-of-the-art resultaten op het gebied van beeldkwaliteit en consistentie met de invoerlabelkaarten op ADE-20K, COCO-Stuff en Cityscapes, en overtreft recente diffusiemodellen terwijl het twee ordes van grootte minder rekenkracht vereist voor inferentie.

English

Semantic image synthesis, i.e., generating images from user-provided semantic label maps, is an important conditional image generation task as it allows to control both the content as well as the spatial layout of generated images. Although diffusion models have pushed the state of the art in generative image modeling, the iterative nature of their inference process makes them computationally demanding. Other approaches such as GANs are more efficient as they only need a single feed-forward pass for generation, but the image quality tends to suffer on large and diverse datasets. In this work, we propose a new class of GAN discriminators for semantic image synthesis that generates highly realistic images by exploiting feature backbone networks pre-trained for tasks such as image classification. We also introduce a new generator architecture with better context modeling and using cross-attention to inject noise into latent variables, leading to more diverse generated images. Our model, which we dub DP-SIMS, achieves state-of-the-art results in terms of image quality and consistency with the input label maps on ADE-20K, COCO-Stuff, and Cityscapes, surpassing recent diffusion models while requiring two orders of magnitude less compute for inference.