Geneste diffusieprocessen voor beeldgeneratie op elk moment

Nested Diffusion Processes for Anytime Image Generation

May 30, 2023

Auteurs: Noam Elata, Bahjat Kawar, Tomer Michaeli, Michael Elad

cs.AI

Samenvatting

Diffusiemodellen vormen de huidige stand van de techniek op het gebied van beeldgeneratie, waarbij hoogwaardige afbeeldingen worden gesynthetiseerd door het generatieproces op te splitsen in vele fijnmazige denoiseringsstappen. Ondanks hun goede prestaties zijn diffusiemodellen rekenkundig kostbaar, omdat ze veel neurale functie-evaluaties (NFEs) vereisen. In dit werk stellen we een op diffusie gebaseerde methode voor die op elk moment levensvatbare afbeeldingen kan genereren wanneer deze op willekeurige tijdstippen voor voltooiing wordt gestopt. Met behulp van bestaande vooraf getrainde diffusiemodellen laten we zien dat het generatieschema kan worden herschreven als twee geneste diffusieprocessen, waardoor snelle iteratieve verfijning van een gegenereerde afbeelding mogelijk wordt. We gebruiken deze Nested Diffusion-benadering om inzicht te krijgen in het generatieproces en flexibele planning mogelijk te maken op basis van de directe voorkeur van de gebruiker. In experimenten met ImageNet en op Stable Diffusion gebaseerde tekst-naar-beeldgeneratie tonen we zowel kwalitatief als kwantitatief aan dat de tussenliggende generatiekwaliteit van onze methode die van het oorspronkelijke diffusiemodel ruimschoots overtreft, terwijl het uiteindelijke langzame generatieresultaat vergelijkbaar blijft.

English

Diffusion models are the current state-of-the-art in image generation, synthesizing high-quality images by breaking down the generation process into many fine-grained denoising steps. Despite their good performance, diffusion models are computationally expensive, requiring many neural function evaluations (NFEs). In this work, we propose an anytime diffusion-based method that can generate viable images when stopped at arbitrary times before completion. Using existing pretrained diffusion models, we show that the generation scheme can be recomposed as two nested diffusion processes, enabling fast iterative refinement of a generated image. We use this Nested Diffusion approach to peek into the generation process and enable flexible scheduling based on the instantaneous preference of the user. In experiments on ImageNet and Stable Diffusion-based text-to-image generation, we show, both qualitatively and quantitatively, that our method's intermediate generation quality greatly exceeds that of the original diffusion model, while the final slow generation result remains comparable.