Transfusion: Vorhersage des nächsten Tokens und Diffusion von Bildern mit einem Multi-Modalen Modell

Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model

August 20, 2024

Autoren: Chunting Zhou, Lili Yu, Arun Babu, Kushal Tirumala, Michihiro Yasunaga, Leonid Shamis, Jacob Kahn, Xuezhe Ma, Luke Zettlemoyer, Omer Levy

cs.AI

Zusammenfassung

Wir stellen Transfusion vor, ein Rezept zur Schulung eines multimodalen Modells über diskrete und kontinuierliche Daten. Transfusion kombiniert die Verlustfunktion des Sprachmodellierens (Vorhersage des nächsten Tokens) mit Diffusion, um einen einzigen Transformer über gemischte Modalitätssequenzen zu trainieren. Wir trainieren mehrere Transfusion-Modelle mit bis zu 7 Milliarden Parametern von Grund auf auf einer Mischung aus Text- und Bilddaten vor und etablieren Skalierungsgesetze im Hinblick auf eine Vielzahl von uni- und multimodalen Benchmarks. Unsere Experimente zeigen, dass Transfusion signifikant besser skaliert als die Quantisierung von Bildern und das Training eines Sprachmodells über diskrete Bildtokens. Durch die Einführung von modalitätsspezifischen Codierungs- und Decodierungsschichten können wir die Leistung der Transfusion-Modelle weiter verbessern und jedes Bild sogar auf nur 16 Patches komprimieren. Wir zeigen weiterhin, dass die Skalierung unseres Transfusion-Rezepts auf 7 Milliarden Parameter und 2 Billionen multimodale Tokens ein Modell hervorbringt, das Bilder und Text auf Augenhöhe mit ähnlich skalierten Diffusionsmodellen und Sprachmodellen generieren kann und die Vorteile beider Welten nutzt.

English

We introduce Transfusion, a recipe for training a multi-modal model over discrete and continuous data. Transfusion combines the language modeling loss function (next token prediction) with diffusion to train a single transformer over mixed-modality sequences. We pretrain multiple Transfusion models up to 7B parameters from scratch on a mixture of text and image data, establishing scaling laws with respect to a variety of uni- and cross-modal benchmarks. Our experiments show that Transfusion scales significantly better than quantizing images and training a language model over discrete image tokens. By introducing modality-specific encoding and decoding layers, we can further improve the performance of Transfusion models, and even compress each image to just 16 patches. We further demonstrate that scaling our Transfusion recipe to 7B parameters and 2T multi-modal tokens produces a model that can generate images and text on a par with similar scale diffusion models and language models, reaping the benefits of both worlds.