MUMU: Bootstrapping der multimodalen Bildgenerierung aus Text-zu-Bild-Daten

MUMU: Bootstrapping Multimodal Image Generation from Text-to-Image Data

June 26, 2024

Autoren: William Berman, Alexander Peysakhovich

cs.AI

Zusammenfassung

Wir trainieren ein Modell, um Bilder aus multimodalen Anfragen von abwechselndem Text und Bildern zu generieren, wie z.B. "ein <Bild eines Mannes> Mann und sein <Bild eines Hundes> Hund im <Bild einer Cartoonfigur> animierten Stil." Wir initialisieren einen multimodalen Datensatz, indem wir semantisch sinnvolle Bildausschnitte extrahieren, die den Wörtern in den Bildunterschriften von synthetisch generierten und öffentlich verfügbaren Text-Bild-Daten entsprechen. Unser Modell, MUMU, besteht aus einem Vision-Sprach-Modell-Encoder mit einem Diffusionsdecoder und wird auf einem einzelnen 8xH100 GPU-Knoten trainiert. Obwohl es nur auf Ausschnitten aus demselben Bild trainiert wird, lernt MUMU, Eingaben aus verschiedenen Bildern in eine kohärente Ausgabe zu komponieren. Zum Beispiel wird eine Eingabe einer realistischen Person und einer Cartoonfigur die gleiche Person im Cartoonstil ausgeben, und eine Eingabe eines stehenden Motivs und eines Rollers wird das Motiv auf dem Roller fahrend ausgeben. Als Ergebnis generalisiert unser Modell auf Aufgaben wie Stiltransfer und Charakterkonsistenz. Unsere Ergebnisse zeigen das Potenzial der Verwendung von multimodalen Modellen als universelle Steuerungen für die Bildgenerierung.

English

We train a model to generate images from multimodal prompts of interleaved text and images such as "a <picture of a man> man and his <picture of a dog> dog in an <picture of a cartoon> animated style." We bootstrap a multimodal dataset by extracting semantically meaningful image crops corresponding to words in the image captions of synthetically generated and publicly available text-image data. Our model, MUMU, is composed of a vision-language model encoder with a diffusion decoder and is trained on a single 8xH100 GPU node. Despite being only trained on crops from the same image, MUMU learns to compose inputs from different images into a coherent output. For example, an input of a realistic person and a cartoon will output the same person in the cartoon style, and an input of a standing subject and a scooter will output the subject riding the scooter. As a result, our model generalizes to tasks such as style transfer and character consistency. Our results show the promise of using multimodal models as general purpose controllers for image generation.