Freischaltung vortrainierter Bild-Backbones für semantische Bildsynthese

Unlocking Pre-trained Image Backbones for Semantic Image Synthesis

December 20, 2023

Autoren: Tariq Berrada, Jakob Verbeek, Camille Couprie, Karteek Alahari

cs.AI

Zusammenfassung

Semantische Bildsynthese, d.h. die Erzeugung von Bildern aus benutzerdefinierten semantischen Labelkarten, ist eine wichtige Aufgabe der bedingten Bildgenerierung, da sie die Kontrolle sowohl über den Inhalt als auch über die räumliche Anordnung der generierten Bilder ermöglicht. Obwohl Diffusionsmodelle den Stand der Technik in der generativen Bildmodellierung vorangetrieben haben, macht der iterative Charakter ihres Inferenzprozesses sie rechenintensiv. Andere Ansätze wie GANs sind effizienter, da sie nur einen einzigen Vorwärtsdurchlauf für die Generierung benötigen, aber die Bildqualität leidet tendenziell bei großen und diversen Datensätzen. In dieser Arbeit schlagen wir eine neue Klasse von GAN-Diskriminatoren für die semantische Bildsynthese vor, die hochrealistische Bilder erzeugt, indem sie Feature-Backbone-Netzwerke nutzt, die für Aufgaben wie Bildklassifizierung vortrainiert wurden. Wir führen auch eine neue Generatorarchitektur mit besserer Kontextmodellierung ein, die Cross-Attention verwendet, um Rauschen in latente Variablen einzubringen, was zu diverseren generierten Bildern führt. Unser Modell, das wir DP-SIMS nennen, erzielt state-of-the-art Ergebnisse in Bezug auf Bildqualität und Konsistenz mit den Eingabe-Labelkarten auf ADE-20K, COCO-Stuff und Cityscapes und übertrifft dabei aktuelle Diffusionsmodelle, während es zwei Größenordnungen weniger Rechenleistung für die Inferenz benötigt.

English

Semantic image synthesis, i.e., generating images from user-provided semantic label maps, is an important conditional image generation task as it allows to control both the content as well as the spatial layout of generated images. Although diffusion models have pushed the state of the art in generative image modeling, the iterative nature of their inference process makes them computationally demanding. Other approaches such as GANs are more efficient as they only need a single feed-forward pass for generation, but the image quality tends to suffer on large and diverse datasets. In this work, we propose a new class of GAN discriminators for semantic image synthesis that generates highly realistic images by exploiting feature backbone networks pre-trained for tasks such as image classification. We also introduce a new generator architecture with better context modeling and using cross-attention to inject noise into latent variables, leading to more diverse generated images. Our model, which we dub DP-SIMS, achieves state-of-the-art results in terms of image quality and consistency with the input label maps on ADE-20K, COCO-Stuff, and Cityscapes, surpassing recent diffusion models while requiring two orders of magnitude less compute for inference.