Kein Training, kein Problem: Überdenken der Leitung ohne Klassifizierer für Diffusionsmodelle

No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models

July 2, 2024

Autoren: Seyedmorteza Sadat, Manuel Kansy, Otmar Hilliges, Romann M. Weber

cs.AI

Zusammenfassung

Die leitlinienfreie Führung (LFF) hat sich als Standardmethode zur Verbesserung der Qualität von bedingten Diffusionsmodellen etabliert. Die Verwendung von LFF erfordert jedoch entweder das Training eines bedingungslosen Modells neben dem Hauptdiffusionsmodell oder die Anpassung des Schulungsverfahrens durch regelmäßiges Einfügen einer Nullbedingung. Es gibt auch keine klare Erweiterung von LFF auf bedingungslose Modelle. In diesem Artikel überdenken wir die Kernprinzipien von LFF und stellen eine neue Methode vor, die unabhängige Bedingungsführung (UBF), die die Vorteile von LFF ohne spezielle Schulungsverfahren bietet. Unser Ansatz optimiert den Schulungsprozess von bedingten Diffusionsmodellen und kann auch während der Inferenz auf jedes vortrainierte bedingte Modell angewendet werden. Darüber hinaus schlagen wir durch die Nutzung der in allen Diffusionsnetzwerken codierten Zeitschrittinformation eine Erweiterung von LFF vor, die als Zeitschrittführung (ZSF) bezeichnet wird und auf jedes Diffusionsmodell, einschließlich bedingungsloser Modelle, angewendet werden kann. Unsere Führungstechniken sind einfach umzusetzen und haben die gleichen Abtastkosten wie LFF. Durch umfangreiche Experimente zeigen wir, dass UBF die Leistung von Standard-LFF bei verschiedenen bedingten Diffusionsmodellen erreicht. Darüber hinaus zeigen wir, dass ZSF die Generierungsqualität ähnlich wie LFF verbessert, ohne auf bedingte Informationen angewiesen zu sein.

English

Classifier-free guidance (CFG) has become the standard method for enhancing the quality of conditional diffusion models. However, employing CFG requires either training an unconditional model alongside the main diffusion model or modifying the training procedure by periodically inserting a null condition. There is also no clear extension of CFG to unconditional models. In this paper, we revisit the core principles of CFG and introduce a new method, independent condition guidance (ICG), which provides the benefits of CFG without the need for any special training procedures. Our approach streamlines the training process of conditional diffusion models and can also be applied during inference on any pre-trained conditional model. Additionally, by leveraging the time-step information encoded in all diffusion networks, we propose an extension of CFG, called time-step guidance (TSG), which can be applied to any diffusion model, including unconditional ones. Our guidance techniques are easy to implement and have the same sampling cost as CFG. Through extensive experiments, we demonstrate that ICG matches the performance of standard CFG across various conditional diffusion models. Moreover, we show that TSG improves generation quality in a manner similar to CFG, without relying on any conditional information.