Sem Treinamento, Sem Problema: Repensando Orientação sem Classificador para Modelos de Difusão

No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models

July 2, 2024

Autores: Seyedmorteza Sadat, Manuel Kansy, Otmar Hilliges, Romann M. Weber

cs.AI

Resumo

Orientação sem classificador (CFG) tornou-se o método padrão para aprimorar a qualidade de modelos de difusão condicional. No entanto, empregar CFG requer treinar um modelo incondicional juntamente com o modelo principal de difusão ou modificar o procedimento de treinamento inserindo periodicamente uma condição nula. Além disso, não há uma extensão clara de CFG para modelos incondicionais. Neste artigo, revisitamos os princípios fundamentais do CFG e introduzimos um novo método, orientação de condição independente (ICG), que oferece os benefícios do CFG sem a necessidade de procedimentos de treinamento especiais. Nossa abordagem simplifica o processo de treinamento de modelos de difusão condicional e também pode ser aplicada durante a inferência em qualquer modelo condicional pré-treinado. Além disso, ao aproveitar as informações de passo de tempo codificadas em todas as redes de difusão, propomos uma extensão do CFG, chamada orientação de passo de tempo (TSG), que pode ser aplicada a qualquer modelo de difusão, incluindo os incondicionais. Nossas técnicas de orientação são fáceis de implementar e têm o mesmo custo de amostragem que o CFG. Através de experimentos extensivos, demonstramos que o ICG iguala o desempenho do CFG padrão em vários modelos de difusão condicional. Além disso, mostramos que o TSG melhora a qualidade de geração de forma semelhante ao CFG, sem depender de nenhuma informação condicional.

English

Classifier-free guidance (CFG) has become the standard method for enhancing the quality of conditional diffusion models. However, employing CFG requires either training an unconditional model alongside the main diffusion model or modifying the training procedure by periodically inserting a null condition. There is also no clear extension of CFG to unconditional models. In this paper, we revisit the core principles of CFG and introduce a new method, independent condition guidance (ICG), which provides the benefits of CFG without the need for any special training procedures. Our approach streamlines the training process of conditional diffusion models and can also be applied during inference on any pre-trained conditional model. Additionally, by leveraging the time-step information encoded in all diffusion networks, we propose an extension of CFG, called time-step guidance (TSG), which can be applied to any diffusion model, including unconditional ones. Our guidance techniques are easy to implement and have the same sampling cost as CFG. Through extensive experiments, we demonstrate that ICG matches the performance of standard CFG across various conditional diffusion models. Moreover, we show that TSG improves generation quality in a manner similar to CFG, without relying on any conditional information.