Geração de Imagens com Modelos de Linguagem Multimodais

Generating Images with Multimodal Language Models

May 26, 2023

Autores: Jing Yu Koh, Daniel Fried, Ruslan Salakhutdinov

cs.AI

Resumo

Propomos um método para fundir modelos de linguagem grandes (LLMs) congelados e exclusivamente textuais com modelos pré-treinados de codificação e decodificação de imagens, mapeando entre seus espaços de incorporação. Nosso modelo demonstra uma ampla gama de capacidades multimodais: recuperação de imagens, geração de novas imagens e diálogo multimodal. Nossa abordagem é a primeira capaz de condicionar entradas intercaladas arbitrariamente de imagens e texto para gerar saídas coerentes de imagens (e texto). Para alcançar um desempenho robusto na geração de imagens, propomos uma rede de mapeamento eficiente para ancorar o LLM a um modelo de geração de texto para imagem pronto para uso. Essa rede de mapeamento traduz representações ocultas de texto para o espaço de incorporação dos modelos visuais, permitindo-nos aproveitar as fortes representações textuais do LLM para saídas visuais. Nossa abordagem supera modelos de geração de linha de base em tarefas com linguagem mais longa e complexa. Além da geração de novas imagens, nosso modelo também é capaz de recuperar imagens de um conjunto de dados pré-especificado e decide se deve recuperar ou gerar no momento da inferência. Isso é feito com um módulo de decisão aprendido que condiciona as representações ocultas do LLM. Nosso modelo exibe uma gama mais ampla de capacidades em comparação com modelos de linguagem multimodal anteriores. Ele pode processar entradas de imagem e texto e produzir imagens recuperadas, imagens geradas e texto gerado — superando modelos de geração não baseados em LLM em várias tarefas de texto para imagem que medem a dependência de contexto.

English

We propose a method to fuse frozen text-only large language models (LLMs) with pre-trained image encoder and decoder models, by mapping between their embedding spaces. Our model demonstrates a wide suite of multimodal capabilities: image retrieval, novel image generation, and multimodal dialogue. Ours is the first approach capable of conditioning on arbitrarily interleaved image and text inputs to generate coherent image (and text) outputs. To achieve strong performance on image generation, we propose an efficient mapping network to ground the LLM to an off-the-shelf text-to-image generation model. This mapping network translates hidden representations of text into the embedding space of the visual models, enabling us to leverage the strong text representations of the LLM for visual outputs. Our approach outperforms baseline generation models on tasks with longer and more complex language. In addition to novel image generation, our model is also capable of image retrieval from a prespecified dataset, and decides whether to retrieve or generate at inference time. This is done with a learnt decision module which conditions on the hidden representations of the LLM. Our model exhibits a wider range of capabilities compared to prior multimodal language models. It can process image-and-text inputs, and produce retrieved images, generated images, and generated text -- outperforming non-LLM based generation models across several text-to-image tasks that measure context dependence.