Nessun Addestramento, Nessun Problema: Ripensare la Guida Senza Classificatori per Modelli di Diffusione

No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models

July 2, 2024

Autori: Seyedmorteza Sadat, Manuel Kansy, Otmar Hilliges, Romann M. Weber

cs.AI

Abstract

La guida senza classificatore (Classifier-Free Guidance, CFG) è diventata il metodo standard per migliorare la qualità dei modelli di diffusione condizionata. Tuttavia, l'utilizzo della CFG richiede o l'addestramento di un modello non condizionato insieme al modello di diffusione principale o la modifica della procedura di addestramento inserendo periodicamente una condizione nulla. Inoltre, non esiste un'estensione chiara della CFG ai modelli non condizionati. In questo articolo, riprendiamo i principi fondamentali della CFG e introduciamo un nuovo metodo, la guida indipendente dalla condizione (Independent Condition Guidance, ICG), che offre i vantaggi della CFG senza la necessità di procedure di addestramento speciali. Il nostro approccio semplifica il processo di addestramento dei modelli di diffusione condizionata e può essere applicato anche durante l'inferenza su qualsiasi modello condizionato pre-addestrato. Inoltre, sfruttando le informazioni sul passo temporale codificate in tutte le reti di diffusione, proponiamo un'estensione della CFG, chiamata guida basata sul passo temporale (Time-Step Guidance, TSG), che può essere applicata a qualsiasi modello di diffusione, inclusi quelli non condizionati. Le nostre tecniche di guida sono facili da implementare e hanno lo stesso costo di campionamento della CFG. Attraverso esperimenti estensivi, dimostriamo che l'ICG eguaglia le prestazioni della CFG standard su vari modelli di diffusione condizionata. Inoltre, mostriamo che la TSG migliora la qualità della generazione in modo simile alla CFG, senza fare affidamento su alcuna informazione condizionata.

English

Classifier-free guidance (CFG) has become the standard method for enhancing the quality of conditional diffusion models. However, employing CFG requires either training an unconditional model alongside the main diffusion model or modifying the training procedure by periodically inserting a null condition. There is also no clear extension of CFG to unconditional models. In this paper, we revisit the core principles of CFG and introduce a new method, independent condition guidance (ICG), which provides the benefits of CFG without the need for any special training procedures. Our approach streamlines the training process of conditional diffusion models and can also be applied during inference on any pre-trained conditional model. Additionally, by leveraging the time-step information encoded in all diffusion networks, we propose an extension of CFG, called time-step guidance (TSG), which can be applied to any diffusion model, including unconditional ones. Our guidance techniques are easy to implement and have the same sampling cost as CFG. Through extensive experiments, we demonstrate that ICG matches the performance of standard CFG across various conditional diffusion models. Moreover, we show that TSG improves generation quality in a manner similar to CFG, without relying on any conditional information.