Génération Visuelle Sans Guidage

Visual Generation Without Guidance

January 26, 2025

Auteurs: Huayu Chen, Kai Jiang, Kaiwen Zheng, Jianfei Chen, Hang Su, Jun Zhu

cs.AI

Résumé

Le Guidage sans Classifieur (GSC) est une technique par défaut dans divers modèles génératifs visuels, mais elle nécessite une inférence à la fois des modèles conditionnels et inconditionnels lors de l'échantillonnage. Nous proposons de construire des modèles visuels qui sont exempts d'échantillonnage guidé. L'algorithme résultant, Entraînement sans Guidage (EG), égale les performances du GSC tout en réduisant l'échantillonnage à un seul modèle, divisant ainsi par deux le coût computationnel. Contrairement aux approches basées sur la distillation précédente qui reposent sur des réseaux GSC pré-entraînés, EG permet un entraînement direct à partir de zéro. EG est simple à mettre en œuvre. Il conserve le même objectif de vraisemblance maximale que le GSC et diffère principalement dans la paramétrisation des modèles conditionnels. La mise en œuvre de EG ne nécessite que des modifications minimales aux bases de code existantes, car la plupart des choix de conception et hyperparamètres sont directement hérités du GSC. Nos expériences approfondies sur cinq modèles visuels distincts démontrent l'efficacité et la polyvalence de EG. À travers les domaines de la diffusion, de l'autorégressif et de la modélisation de prédiction masquée, EG atteint de manière constante des scores FID comparables ou même inférieurs, avec des compromis similaire entre diversité et fidélité par rapport aux références GSC, le tout sans guidage. Le code sera disponible sur https://github.com/thu-ml/EG.

English

Classifier-Free Guidance (CFG) has been a default technique in various visual generative models, yet it requires inference from both conditional and unconditional models during sampling. We propose to build visual models that are free from guided sampling. The resulting algorithm, Guidance-Free Training (GFT), matches the performance of CFG while reducing sampling to a single model, halving the computational cost. Unlike previous distillation-based approaches that rely on pretrained CFG networks, GFT enables training directly from scratch. GFT is simple to implement. It retains the same maximum likelihood objective as CFG and differs mainly in the parameterization of conditional models. Implementing GFT requires only minimal modifications to existing codebases, as most design choices and hyperparameters are directly inherited from CFG. Our extensive experiments across five distinct visual models demonstrate the effectiveness and versatility of GFT. Across domains of diffusion, autoregressive, and masked-prediction modeling, GFT consistently achieves comparable or even lower FID scores, with similar diversity-fidelity trade-offs compared with CFG baselines, all while being guidance-free. Code will be available at https://github.com/thu-ml/GFT.