Sbloccare i backbone di immagini pre-addestrati per la sintesi semantica di immagini

Unlocking Pre-trained Image Backbones for Semantic Image Synthesis

December 20, 2023

Autori: Tariq Berrada, Jakob Verbeek, Camille Couprie, Karteek Alahari

cs.AI

Abstract

La sintesi semantica di immagini, ovvero la generazione di immagini a partire da mappe di etichette semantiche fornite dall'utente, è un'importante attività di generazione condizionata di immagini poiché consente di controllare sia il contenuto che il layout spaziale delle immagini generate. Sebbene i modelli di diffusione abbiano spinto lo stato dell'arte nella modellazione generativa di immagini, la natura iterativa del loro processo di inferenza li rende computazionalmente impegnativi. Altri approcci, come le GAN, sono più efficienti in quanto richiedono solo un singolo passaggio feed-forward per la generazione, ma la qualità delle immagini tende a risentirne su dataset ampi e diversificati. In questo lavoro, proponiamo una nuova classe di discriminatori GAN per la sintesi semantica di immagini che genera immagini altamente realistiche sfruttando reti di backbone pre-addestrate per attività come la classificazione di immagini. Introduciamo inoltre una nuova architettura di generatore con una migliore modellazione del contesto e l'uso di cross-attention per iniettare rumore nelle variabili latenti, portando a immagini generate più diversificate. Il nostro modello, che chiamiamo DP-SIMS, raggiunge risultati all'avanguardia in termini di qualità delle immagini e coerenza con le mappe di etichette in input su ADE-20K, COCO-Stuff e Cityscapes, superando i recenti modelli di diffusione pur richiedendo due ordini di grandezza in meno di calcolo per l'inferenza.

English

Semantic image synthesis, i.e., generating images from user-provided semantic label maps, is an important conditional image generation task as it allows to control both the content as well as the spatial layout of generated images. Although diffusion models have pushed the state of the art in generative image modeling, the iterative nature of their inference process makes them computationally demanding. Other approaches such as GANs are more efficient as they only need a single feed-forward pass for generation, but the image quality tends to suffer on large and diverse datasets. In this work, we propose a new class of GAN discriminators for semantic image synthesis that generates highly realistic images by exploiting feature backbone networks pre-trained for tasks such as image classification. We also introduce a new generator architecture with better context modeling and using cross-attention to inject noise into latent variables, leading to more diverse generated images. Our model, which we dub DP-SIMS, achieves state-of-the-art results in terms of image quality and consistency with the input label maps on ADE-20K, COCO-Stuff, and Cityscapes, surpassing recent diffusion models while requiring two orders of magnitude less compute for inference.