Afbeeldingen genereren met multimodale taalmodelen

Generating Images with Multimodal Language Models

May 26, 2023

Auteurs: Jing Yu Koh, Daniel Fried, Ruslan Salakhutdinov

cs.AI

Samenvatting

Wij stellen een methode voor om bevroren tekst-gebaseerde grote taalmodellen (LLMs) te integreren met vooraf getrainde beeldencoder- en decoder-modellen, door een mapping tussen hun embeddingruimtes te maken. Ons model toont een breed scala aan multimodale capaciteiten: beeldretrieval, het genereren van nieuwe beelden, en multimodale dialoog. Onze aanpak is de eerste die in staat is om te conditioneren op willekeurig afgewisselde beeld- en tekstinputs om samenhangende beeld- (en tekst)outputs te genereren. Om sterke prestaties te behalen bij beeldgeneratie, stellen we een efficiënt mappingnetwerk voor om het LLM te verankeren aan een kant-en-klaar tekst-naar-beeld generatiemodel. Dit mappingnetwerk vertaalt verborgen representaties van tekst naar de embeddingruimte van de visuele modellen, waardoor we de sterke tekstrepresentaties van het LLM kunnen benutten voor visuele outputs. Onze aanpak overtreft baseline-generatiemodellen bij taken met langere en complexere taal. Naast het genereren van nieuwe beelden, is ons model ook in staat om beelden op te halen uit een vooraf gespecificeerde dataset, en beslist het tijdens de inferentie of het een beeld moet ophalen of genereren. Dit gebeurt met een geleerde beslissingsmodule die conditioneert op de verborgen representaties van het LLM. Ons model vertoont een breder scala aan capaciteiten vergeleken met eerdere multimodale taalmodellen. Het kan beeld- en tekstinputs verwerken, en opgehaalde beelden, gegenereerde beelden en gegenereerde tekst produceren – en overtreft niet-LLM-gebaseerde generatiemodellen bij verschillende tekst-naar-beeld taken die contextafhankelijkheid meten.

English

We propose a method to fuse frozen text-only large language models (LLMs) with pre-trained image encoder and decoder models, by mapping between their embedding spaces. Our model demonstrates a wide suite of multimodal capabilities: image retrieval, novel image generation, and multimodal dialogue. Ours is the first approach capable of conditioning on arbitrarily interleaved image and text inputs to generate coherent image (and text) outputs. To achieve strong performance on image generation, we propose an efficient mapping network to ground the LLM to an off-the-shelf text-to-image generation model. This mapping network translates hidden representations of text into the embedding space of the visual models, enabling us to leverage the strong text representations of the LLM for visual outputs. Our approach outperforms baseline generation models on tasks with longer and more complex language. In addition to novel image generation, our model is also capable of image retrieval from a prespecified dataset, and decides whether to retrieve or generate at inference time. This is done with a learnt decision module which conditions on the hidden representations of the LLM. Our model exhibits a wider range of capabilities compared to prior multimodal language models. It can process image-and-text inputs, and produce retrieved images, generated images, and generated text -- outperforming non-LLM based generation models across several text-to-image tasks that measure context dependence.