Генерация изображений с использованием мультимодальных языковых моделей

Generating Images with Multimodal Language Models

May 26, 2023

Авторы: Jing Yu Koh, Daniel Fried, Ruslan Salakhutdinov

cs.AI

Аннотация

Мы предлагаем метод объединения замороженных языковых моделей (LLM), работающих только с текстом, с предобученными моделями кодирования и декодирования изображений путем отображения между их пространствами эмбеддингов. Наша модель демонстрирует широкий спектр мультимодальных возможностей: поиск изображений, генерацию новых изображений и мультимодальный диалог. Наш подход является первым, способным учитывать произвольно чередующиеся изображения и текстовые входные данные для генерации согласованных изображений (и текстовых) выходных данных. Для достижения высокой производительности в генерации изображений мы предлагаем эффективную сеть отображения, которая связывает LLM с готовой моделью генерации изображений по тексту. Эта сеть отображения преобразует скрытые представления текста в пространство эмбеддингов визуальных моделей, что позволяет нам использовать мощные текстовые представления LLM для визуальных выходных данных. Наш подход превосходит базовые модели генерации на задачах с более длинным и сложным языком. Помимо генерации новых изображений, наша модель также способна извлекать изображения из предопределенного набора данных и решать, извлекать или генерировать изображения на этапе вывода. Это достигается с помощью обученного модуля принятия решений, который учитывает скрытые представления LLM. Наша модель демонстрирует более широкий спектр возможностей по сравнению с предыдущими мультимодальными языковыми моделями. Она может обрабатывать входные данные, содержащие изображения и текст, и выдавать извлеченные изображения, сгенерированные изображения и сгенерированный текст, превосходя модели генерации, не основанные на LLM, в нескольких задачах текста в изображение, измеряющих зависимость от контекста.

English

We propose a method to fuse frozen text-only large language models (LLMs) with pre-trained image encoder and decoder models, by mapping between their embedding spaces. Our model demonstrates a wide suite of multimodal capabilities: image retrieval, novel image generation, and multimodal dialogue. Ours is the first approach capable of conditioning on arbitrarily interleaved image and text inputs to generate coherent image (and text) outputs. To achieve strong performance on image generation, we propose an efficient mapping network to ground the LLM to an off-the-shelf text-to-image generation model. This mapping network translates hidden representations of text into the embedding space of the visual models, enabling us to leverage the strong text representations of the LLM for visual outputs. Our approach outperforms baseline generation models on tasks with longer and more complex language. In addition to novel image generation, our model is also capable of image retrieval from a prespecified dataset, and decides whether to retrieve or generate at inference time. This is done with a learnt decision module which conditions on the hidden representations of the LLM. Our model exhibits a wider range of capabilities compared to prior multimodal language models. It can process image-and-text inputs, and produce retrieved images, generated images, and generated text -- outperforming non-LLM based generation models across several text-to-image tasks that measure context dependence.