Generazione di Immagini con Modelli Linguistici Multimodali

Generating Images with Multimodal Language Models

May 26, 2023

Autori: Jing Yu Koh, Daniel Fried, Ruslan Salakhutdinov

cs.AI

Abstract

Proponiamo un metodo per fondere modelli linguistici di grandi dimensioni (LLM) congelati e basati esclusivamente su testo con modelli pre-addestrati di codifica e decodifica di immagini, mappando tra i loro spazi di embedding. Il nostro modello dimostra un'ampia gamma di capacità multimodali: recupero di immagini, generazione di nuove immagini e dialogo multimodale. Il nostro è il primo approccio in grado di condizionare input di immagini e testo intervallati arbitrariamente per generare output coerenti di immagini (e testo). Per ottenere prestazioni solide nella generazione di immagini, proponiamo una rete di mappatura efficiente per ancorare l'LLM a un modello preesistente di generazione di immagini da testo. Questa rete di mappatura traduce le rappresentazioni nascoste del testo nello spazio di embedding dei modelli visivi, consentendoci di sfruttare le forti rappresentazioni testuali dell'LLM per output visivi. Il nostro approccio supera i modelli di generazione di base in compiti con linguaggio più lungo e complesso. Oltre alla generazione di nuove immagini, il nostro modello è anche in grado di recuperare immagini da un dataset predefinito e decide se recuperare o generare al momento dell'inferenza. Questo viene fatto con un modulo decisionale appreso che si condiziona sulle rappresentazioni nascoste dell'LLM. Il nostro modello mostra una gamma più ampia di capacità rispetto ai precedenti modelli linguistici multimodali. Può elaborare input di immagini e testo e produrre immagini recuperate, immagini generate e testo generato, superando i modelli di generazione non basati su LLM in diversi compiti di generazione di immagini da testo che misurano la dipendenza dal contesto.

English

We propose a method to fuse frozen text-only large language models (LLMs) with pre-trained image encoder and decoder models, by mapping between their embedding spaces. Our model demonstrates a wide suite of multimodal capabilities: image retrieval, novel image generation, and multimodal dialogue. Ours is the first approach capable of conditioning on arbitrarily interleaved image and text inputs to generate coherent image (and text) outputs. To achieve strong performance on image generation, we propose an efficient mapping network to ground the LLM to an off-the-shelf text-to-image generation model. This mapping network translates hidden representations of text into the embedding space of the visual models, enabling us to leverage the strong text representations of the LLM for visual outputs. Our approach outperforms baseline generation models on tasks with longer and more complex language. In addition to novel image generation, our model is also capable of image retrieval from a prespecified dataset, and decides whether to retrieve or generate at inference time. This is done with a learnt decision module which conditions on the hidden representations of the LLM. Our model exhibits a wider range of capabilities compared to prior multimodal language models. It can process image-and-text inputs, and produce retrieved images, generated images, and generated text -- outperforming non-LLM based generation models across several text-to-image tasks that measure context dependence.