Generación de Imágenes con Modelos de Lenguaje Multimodales

Generating Images with Multimodal Language Models

May 26, 2023

Autores: Jing Yu Koh, Daniel Fried, Ruslan Salakhutdinov

cs.AI

Resumen

Proponemos un método para fusionar modelos de lenguaje grandes (LLM) congelados y exclusivamente de texto con modelos preentrenados de codificación y decodificación de imágenes, mediante el mapeo entre sus espacios de incrustación. Nuestro modelo demuestra una amplia gama de capacidades multimodales: recuperación de imágenes, generación de imágenes novedosas y diálogo multimodal. Este es el primer enfoque capaz de condicionar entradas intercaladas arbitrariamente de imágenes y texto para generar salidas coherentes de imágenes (y texto). Para lograr un rendimiento sólido en la generación de imágenes, proponemos una red de mapeo eficiente que conecta el LLM con un modelo de generación de texto a imagen estándar. Esta red de mapeo traduce las representaciones ocultas del texto al espacio de incrustación de los modelos visuales, permitiéndonos aprovechar las fuertes representaciones textuales del LLM para salidas visuales. Nuestro enfoque supera a los modelos de generación de referencia en tareas con lenguaje más largo y complejo. Además de la generación de imágenes novedosas, nuestro modelo también es capaz de recuperar imágenes de un conjunto de datos predefinido y decide si recuperar o generar en tiempo de inferencia. Esto se logra con un módulo de decisión aprendido que se condiciona en las representaciones ocultas del LLM. Nuestro modelo exhibe un rango más amplio de capacidades en comparación con modelos de lenguaje multimodal anteriores. Puede procesar entradas de imagen y texto, y producir imágenes recuperadas, imágenes generadas y texto generado, superando a los modelos de generación no basados en LLM en varias tareas de texto a imagen que miden la dependencia del contexto.

English

We propose a method to fuse frozen text-only large language models (LLMs) with pre-trained image encoder and decoder models, by mapping between their embedding spaces. Our model demonstrates a wide suite of multimodal capabilities: image retrieval, novel image generation, and multimodal dialogue. Ours is the first approach capable of conditioning on arbitrarily interleaved image and text inputs to generate coherent image (and text) outputs. To achieve strong performance on image generation, we propose an efficient mapping network to ground the LLM to an off-the-shelf text-to-image generation model. This mapping network translates hidden representations of text into the embedding space of the visual models, enabling us to leverage the strong text representations of the LLM for visual outputs. Our approach outperforms baseline generation models on tasks with longer and more complex language. In addition to novel image generation, our model is also capable of image retrieval from a prespecified dataset, and decides whether to retrieve or generate at inference time. This is done with a learnt decision module which conditions on the hidden representations of the LLM. Our model exhibits a wider range of capabilities compared to prior multimodal language models. It can process image-and-text inputs, and produce retrieved images, generated images, and generated text -- outperforming non-LLM based generation models across several text-to-image tasks that measure context dependence.