Kausale Diffusions-Transformer für generatives Modellieren

Causal Diffusion Transformers for Generative Modeling

December 16, 2024

Autoren: Chaorui Deng, Deyao Zh, Kunchang Li, Shi Guan, Haoqi Fan

cs.AI

Zusammenfassung

Wir stellen Causal Diffusion als das autoregressive (AR) Pendant zu Diffusionsmodellen vor. Es handelt sich um ein Framework zur Vorhersage des nächsten Tokens, das sowohl für diskrete als auch kontinuierliche Modalitäten geeignet ist und mit bestehenden Modellen zur Vorhersage des nächsten Tokens wie LLaMA und GPT kompatibel ist. Während aktuelle Arbeiten versuchen, Diffusion mit AR-Modellen zu kombinieren, zeigen wir, dass die Einführung einer sequenziellen Faktorisierung in ein Diffusionsmodell seine Leistung erheblich verbessern kann und einen reibungslosen Übergang zwischen AR- und Diffusionsgenerierungsmodi ermöglicht. Daher schlagen wir CausalFusion vor - einen ausschließlich dekodierenden Transformer, der Daten über sequenzielle Tokens und Diffusionsrauschpegel dual faktorisiert, was zu Spitzenleistungen beim ImageNet-Generierungstest führt und gleichzeitig den AR-Vorteil bietet, eine beliebige Anzahl von Tokens für kontextbezogenes Denken zu generieren. Wir zeigen außerdem die multimodalen Fähigkeiten von CausalFusion durch ein gemeinsames Modell zur Bildgenerierung und Bildunterschrift sowie präsentieren die Fähigkeit von CausalFusion für Zero-Shot-In-Context-Bildmanipulationen. Wir hoffen, dass diese Arbeit der Gemeinschaft eine frische Perspektive auf das Training von multimodalen Modellen über diskrete und kontinuierliche Daten bieten könnte.

English

We introduce Causal Diffusion as the autoregressive (AR) counterpart of Diffusion models. It is a next-token(s) forecasting framework that is friendly to both discrete and continuous modalities and compatible with existing next-token prediction models like LLaMA and GPT. While recent works attempt to combine diffusion with AR models, we show that introducing sequential factorization to a diffusion model can substantially improve its performance and enables a smooth transition between AR and diffusion generation modes. Hence, we propose CausalFusion - a decoder-only transformer that dual-factorizes data across sequential tokens and diffusion noise levels, leading to state-of-the-art results on the ImageNet generation benchmark while also enjoying the AR advantage of generating an arbitrary number of tokens for in-context reasoning. We further demonstrate CausalFusion's multimodal capabilities through a joint image generation and captioning model, and showcase CausalFusion's ability for zero-shot in-context image manipulations. We hope that this work could provide the community with a fresh perspective on training multimodal models over discrete and continuous data.