Geração Visual Sem Orientação

Visual Generation Without Guidance

January 26, 2025

Autores: Huayu Chen, Kai Jiang, Kaiwen Zheng, Jianfei Chen, Hang Su, Jun Zhu

cs.AI

Resumo

A Orientação Livre de Classificador (CFG) tem sido uma técnica padrão em vários modelos visuais generativos, no entanto, requer inferência de ambos modelos condicionais e incondicionais durante a amostragem. Propomos construir modelos visuais que sejam livres de amostragem guiada. O algoritmo resultante, Treinamento Livre de Orientação (GFT), iguala o desempenho do CFG enquanto reduz a amostragem para um único modelo, reduzindo pela metade o custo computacional. Ao contrário de abordagens anteriores baseadas em destilação que dependem de redes CFG pré-treinadas, o GFT permite o treinamento direto a partir do zero. O GFT é simples de implementar. Ele mantém o mesmo objetivo de máxima verossimilhança do CFG e difere principalmente na parametrização dos modelos condicionais. A implementação do GFT requer apenas modificações mínimas nos códigos existentes, uma vez que a maioria das escolhas de design e hiperparâmetros são diretamente herdados do CFG. Nossos extensos experimentos em cinco modelos visuais distintos demonstram a eficácia e versatilidade do GFT. Através de domínios de difusão, autoregressão e modelagem de predição mascarada, o GFT consistentemente alcança pontuações FID comparáveis ou até mesmo inferiores, com trocas de diversidade-fidelidade semelhantes em comparação com os baselines do CFG, tudo isso sem orientação. O código estará disponível em https://github.com/thu-ml/GFT.

English

Classifier-Free Guidance (CFG) has been a default technique in various visual generative models, yet it requires inference from both conditional and unconditional models during sampling. We propose to build visual models that are free from guided sampling. The resulting algorithm, Guidance-Free Training (GFT), matches the performance of CFG while reducing sampling to a single model, halving the computational cost. Unlike previous distillation-based approaches that rely on pretrained CFG networks, GFT enables training directly from scratch. GFT is simple to implement. It retains the same maximum likelihood objective as CFG and differs mainly in the parameterization of conditional models. Implementing GFT requires only minimal modifications to existing codebases, as most design choices and hyperparameters are directly inherited from CFG. Our extensive experiments across five distinct visual models demonstrate the effectiveness and versatility of GFT. Across domains of diffusion, autoregressive, and masked-prediction modeling, GFT consistently achieves comparable or even lower FID scores, with similar diversity-fidelity trade-offs compared with CFG baselines, all while being guidance-free. Code will be available at https://github.com/thu-ml/GFT.