Transfusion: Voorspel de Volgende Token en Diffuseer Afbeeldingen met Eén Multi-Modaal Model

Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model

August 20, 2024

Auteurs: Chunting Zhou, Lili Yu, Arun Babu, Kushal Tirumala, Michihiro Yasunaga, Leonid Shamis, Jacob Kahn, Xuezhe Ma, Luke Zettlemoyer, Omer Levy

cs.AI

Samenvatting

We introduceren Transfusion, een methode voor het trainen van een multimodaal model op discrete en continue data. Transfusion combineert de taalmodelleringsverliesfunctie (voorspelling van het volgende token) met diffusie om een enkele transformer te trainen op gemengde-modaliteitsequenties. We pretrainen meerdere Transfusion-modellen tot 7B parameters vanaf nul op een mix van tekst- en beelddata, waarbij we schaalwetten vaststellen ten opzichte van verschillende uni- en cross-modale benchmarks. Onze experimenten tonen aan dat Transfusion aanzienlijk beter schaalt dan het kwantiseren van afbeeldingen en het trainen van een taalmodel op discrete beeldtokens. Door het introduceren van modaliteit-specifieke encoder- en decoderlagen kunnen we de prestaties van Transfusion-modellen verder verbeteren, en zelfs elke afbeelding comprimeren tot slechts 16 patches. We demonstreren verder dat het opschalen van onze Transfusion-methode naar 7B parameters en 2T multimodale tokens een model oplevert dat afbeeldingen en tekst kan genereren op hetzelfde niveau als vergelijkbare schaaldiffusiemodellen en taalmodel, waardoor de voordelen van beide werelden worden benut.

English

We introduce Transfusion, a recipe for training a multi-modal model over discrete and continuous data. Transfusion combines the language modeling loss function (next token prediction) with diffusion to train a single transformer over mixed-modality sequences. We pretrain multiple Transfusion models up to 7B parameters from scratch on a mixture of text and image data, establishing scaling laws with respect to a variety of uni- and cross-modal benchmarks. Our experiments show that Transfusion scales significantly better than quantizing images and training a language model over discrete image tokens. By introducing modality-specific encoding and decoding layers, we can further improve the performance of Transfusion models, and even compress each image to just 16 patches. We further demonstrate that scaling our Transfusion recipe to 7B parameters and 2T multi-modal tokens produces a model that can generate images and text on a par with similar scale diffusion models and language models, reaping the benefits of both worlds.