Geen training, geen probleem: Een nieuwe kijk op classifier-vrije begeleiding voor diffusiemodellen

No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models

July 2, 2024

Auteurs: Seyedmorteza Sadat, Manuel Kansy, Otmar Hilliges, Romann M. Weber

cs.AI

Samenvatting

Classifier-free guidance (CFG) is de standaardmethode geworden om de kwaliteit van conditionele diffusiemodellen te verbeteren. Het gebruik van CFG vereist echter ofwel het trainen van een onvoorwaardelijk model naast het hoofd-diffusiemodel, ofwel het aanpassen van het trainingsproces door periodiek een nulconditie in te voegen. Er is ook geen duidelijke uitbreiding van CFG naar onvoorwaardelijke modellen. In dit artikel herzien we de kernprincipes van CFG en introduceren we een nieuwe methode, independent condition guidance (ICG), die de voordelen van CFG biedt zonder dat er speciale trainingsprocedures nodig zijn. Onze aanpak vereenvoudigt het trainingsproces van conditionele diffusiemodellen en kan ook worden toegepast tijdens inferentie op elk vooraf getraind conditioneel model. Daarnaast stellen we, door gebruik te maken van de tijdstapinformatie die in alle diffusienetwerken is gecodeerd, een uitbreiding van CFG voor, genaamd time-step guidance (TSG), die kan worden toegepast op elk diffusiemodel, inclusief onvoorwaardelijke modellen. Onze begeleidingstechnieken zijn eenvoudig te implementeren en hebben dezelfde steekproefkosten als CFG. Door middel van uitgebreide experimenten tonen we aan dat ICG de prestaties van standaard CFG evenaart bij verschillende conditionele diffusiemodellen. Bovendien laten we zien dat TSG de generatiekwaliteit op een vergelijkbare manier verbetert als CFG, zonder afhankelijk te zijn van enige conditionele informatie.

English

Classifier-free guidance (CFG) has become the standard method for enhancing the quality of conditional diffusion models. However, employing CFG requires either training an unconditional model alongside the main diffusion model or modifying the training procedure by periodically inserting a null condition. There is also no clear extension of CFG to unconditional models. In this paper, we revisit the core principles of CFG and introduce a new method, independent condition guidance (ICG), which provides the benefits of CFG without the need for any special training procedures. Our approach streamlines the training process of conditional diffusion models and can also be applied during inference on any pre-trained conditional model. Additionally, by leveraging the time-step information encoded in all diffusion networks, we propose an extension of CFG, called time-step guidance (TSG), which can be applied to any diffusion model, including unconditional ones. Our guidance techniques are easy to implement and have the same sampling cost as CFG. Through extensive experiments, we demonstrate that ICG matches the performance of standard CFG across various conditional diffusion models. Moreover, we show that TSG improves generation quality in a manner similar to CFG, without relying on any conditional information.