Sin entrenamiento, sin problema: Repensando la orientación sin clasificador para Modelos de Difusión

No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models

July 2, 2024

Autores: Seyedmorteza Sadat, Manuel Kansy, Otmar Hilliges, Romann M. Weber

cs.AI

Resumen

La guía sin clasificador (CFG, por sus siglas en inglés) se ha convertido en el método estándar para mejorar la calidad de los modelos de difusión condicional. Sin embargo, utilizar CFG requiere entrenar un modelo incondicional junto al modelo principal de difusión o modificar el procedimiento de entrenamiento al insertar periódicamente una condición nula. Además, no existe una extensión clara de CFG a modelos incondicionales. En este artículo, revisamos los principios fundamentales de CFG e introducimos un nuevo método, guía de condición independiente (ICG, por sus siglas en inglés), que brinda los beneficios de CFG sin necesidad de procedimientos de entrenamiento especiales. Nuestro enfoque simplifica el proceso de entrenamiento de modelos de difusión condicional y también puede aplicarse durante la inferencia en cualquier modelo condicional preentrenado. Además, aprovechando la información de paso de tiempo codificada en todas las redes de difusión, proponemos una extensión de CFG, llamada guía de paso de tiempo (TSG, por sus siglas en inglés), que puede aplicarse a cualquier modelo de difusión, incluidos los incondicionales. Nuestras técnicas de guía son fáciles de implementar y tienen el mismo costo de muestreo que CFG. A través de experimentos extensos, demostramos que ICG iguala el rendimiento de CFG estándar en varios modelos de difusión condicional. Además, mostramos que TSG mejora la calidad de generación de manera similar a CFG, sin depender de ninguna información condicional.

English

Classifier-free guidance (CFG) has become the standard method for enhancing the quality of conditional diffusion models. However, employing CFG requires either training an unconditional model alongside the main diffusion model or modifying the training procedure by periodically inserting a null condition. There is also no clear extension of CFG to unconditional models. In this paper, we revisit the core principles of CFG and introduce a new method, independent condition guidance (ICG), which provides the benefits of CFG without the need for any special training procedures. Our approach streamlines the training process of conditional diffusion models and can also be applied during inference on any pre-trained conditional model. Additionally, by leveraging the time-step information encoded in all diffusion networks, we propose an extension of CFG, called time-step guidance (TSG), which can be applied to any diffusion model, including unconditional ones. Our guidance techniques are easy to implement and have the same sampling cost as CFG. Through extensive experiments, we demonstrate that ICG matches the performance of standard CFG across various conditional diffusion models. Moreover, we show that TSG improves generation quality in a manner similar to CFG, without relying on any conditional information.