Transformateurs de Diffusion Causale pour la Modélisation Générative

Causal Diffusion Transformers for Generative Modeling

December 16, 2024

Auteurs: Chaorui Deng, Deyao Zh, Kunchang Li, Shi Guan, Haoqi Fan

cs.AI

Résumé

Nous introduisons la Fusion Causale en tant que contrepartie autorégressive (AR) des modèles de Diffusion. Il s'agit d'un cadre de prévision du prochain jeton(s) qui est convivial à la fois pour les modalités discrètes et continues et compatible avec les modèles existants de prédiction du prochain jeton tels que LLaMA et GPT. Alors que des travaux récents tentent de combiner la diffusion avec des modèles AR, nous montrons qu'introduire une factorisation séquentielle à un modèle de diffusion peut considérablement améliorer ses performances et permettre une transition fluide entre les modes de génération AR et diffusion. Par conséquent, nous proposons CausalFusion - un transformeur à décodeur uniquement qui factorise de manière double les données à travers les jetons séquentiels et les niveaux de bruit de diffusion, conduisant à des résultats de pointe sur le banc d'essai de génération ImageNet tout en bénéficiant de l'avantage AR de générer un nombre arbitraire de jetons pour un raisonnement en contexte. Nous démontrons en outre les capacités multimodales de CausalFusion à travers un modèle conjoint de génération d'images et de légendage, et mettons en valeur la capacité de CausalFusion pour des manipulations d'images en contexte sans pré-entraînement. Nous espérons que ce travail pourrait offrir à la communauté un point de vue novateur sur la formation de modèles multimodaux sur des données discrètes et continues.

English

We introduce Causal Diffusion as the autoregressive (AR) counterpart of Diffusion models. It is a next-token(s) forecasting framework that is friendly to both discrete and continuous modalities and compatible with existing next-token prediction models like LLaMA and GPT. While recent works attempt to combine diffusion with AR models, we show that introducing sequential factorization to a diffusion model can substantially improve its performance and enables a smooth transition between AR and diffusion generation modes. Hence, we propose CausalFusion - a decoder-only transformer that dual-factorizes data across sequential tokens and diffusion noise levels, leading to state-of-the-art results on the ImageNet generation benchmark while also enjoying the AR advantage of generating an arbitrary number of tokens for in-context reasoning. We further demonstrate CausalFusion's multimodal capabilities through a joint image generation and captioning model, and showcase CausalFusion's ability for zero-shot in-context image manipulations. We hope that this work could provide the community with a fresh perspective on training multimodal models over discrete and continuous data.