Génération d'images avec des modèles de langage multimodaux

Generating Images with Multimodal Language Models

May 26, 2023

Auteurs: Jing Yu Koh, Daniel Fried, Ruslan Salakhutdinov

cs.AI

Résumé

Nous proposons une méthode pour fusionner des modèles de langage massifs (LLM) figés, basés uniquement sur le texte, avec des modèles pré-entraînés d'encodeur et de décodeur d'images, en établissant une correspondance entre leurs espaces d'embedding. Notre modèle démontre un large éventail de capacités multimodales : recherche d'images, génération de nouvelles images et dialogue multimodal. Notre approche est la première capable de conditionner des entrées arbitrairement entrelacées d'images et de texte pour générer des sorties cohérentes d'images (et de texte). Pour atteindre des performances solides en génération d'images, nous proposons un réseau de correspondance efficace pour ancrer le LLM à un modèle de génération texte-à-image prêt à l'emploi. Ce réseau de correspondance traduit les représentations cachées du texte dans l'espace d'embedding des modèles visuels, nous permettant ainsi de tirer parti des représentations textuelles puissantes du LLM pour les sorties visuelles. Notre approche surpasse les modèles de génération de référence sur des tâches impliquant un langage plus long et plus complexe. En plus de la génération de nouvelles images, notre modèle est également capable de rechercher des images dans un ensemble de données prédéfini et de décider, au moment de l'inférence, s'il doit récupérer ou générer une image. Cela est réalisé grâce à un module de décision appris qui se base sur les représentations cachées du LLM. Notre modèle présente une gamme de capacités plus étendue que les modèles de langage multimodaux précédents. Il peut traiter des entrées combinant images et texte, et produire des images récupérées, des images générées et du texte généré – surpassant les modèles de génération non basés sur des LLM dans plusieurs tâches texte-à-image mesurant la dépendance contextuelle.

English

We propose a method to fuse frozen text-only large language models (LLMs) with pre-trained image encoder and decoder models, by mapping between their embedding spaces. Our model demonstrates a wide suite of multimodal capabilities: image retrieval, novel image generation, and multimodal dialogue. Ours is the first approach capable of conditioning on arbitrarily interleaved image and text inputs to generate coherent image (and text) outputs. To achieve strong performance on image generation, we propose an efficient mapping network to ground the LLM to an off-the-shelf text-to-image generation model. This mapping network translates hidden representations of text into the embedding space of the visual models, enabling us to leverage the strong text representations of the LLM for visual outputs. Our approach outperforms baseline generation models on tasks with longer and more complex language. In addition to novel image generation, our model is also capable of image retrieval from a prespecified dataset, and decides whether to retrieve or generate at inference time. This is done with a learnt decision module which conditions on the hidden representations of the LLM. Our model exhibits a wider range of capabilities compared to prior multimodal language models. It can process image-and-text inputs, and produce retrieved images, generated images, and generated text -- outperforming non-LLM based generation models across several text-to-image tasks that measure context dependence.