Diffusion Forcing : Prédiction du token suivant rencontre la diffusion de séquence complèteDiffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion
Cet article présente Diffusion Forcing, un nouveau paradigme d'entraînement dans lequel un modèle de diffusion est formé pour débruiter un ensemble de tokens avec des niveaux de bruit indépendants par token. Nous appliquons Diffusion Forcing à la modélisation générative de séquences en entraînant un modèle causal de prédiction du token suivant à générer un ou plusieurs tokens futurs sans diffuser complètement les tokens passés. Notre approche combine les forces des modèles de prédiction du token suivant, tels que la génération de longueur variable, avec les forces des modèles de diffusion de séquence complète, comme la capacité à guider l'échantillonnage vers des trajectoires souhaitables. Notre méthode offre une gamme de capacités supplémentaires, telles que (1) le déploiement de séquences de tokens continus, comme la vidéo, avec des longueurs dépassant l'horizon d'entraînement, où les modèles de référence divergent, et (2) de nouveaux schémas d'échantillonnage et de guidage qui profitent uniquement de l'architecture à horizon variable et causale de Diffusion Forcing, et qui conduisent à des gains de performance marqués dans les tâches de prise de décision et de planification. En plus de son succès empirique, notre méthode est prouvée pour optimiser une borne inférieure variationnelle sur les vraisemblances de toutes les sous-séquences de tokens tirées de la distribution conjointe réelle. Site web du projet : https://boyuan.space/diffusion-forcing/