Единая генерация и поиск текста к изображениям

Unified Text-to-Image Generation and Retrieval

June 9, 2024

Авторы: Leigang Qu, Haochuan Li, Tan Wang, Wenjie Wang, Yongqi Li, Liqiang Nie, Tat-Seng Chua

cs.AI

Аннотация

Как люди могут эффективно и эффективно получать изображения, всегда было вечным вопросом. Типичным решением является поиск текста по изображению из существующей базы данных по текстовому запросу; однако ограниченная база данных обычно не обладает креативностью. В отличие от этого, недавние достижения в области генерации текста по изображению позволили создавать изысканный и разнообразный визуальный контент, но сталкиваются с проблемами синтеза знаниевых изображений. В данной работе мы переосмысливаем отношение между генерацией текста по изображению и поиском и предлагаем единый каркас в контексте Мультимодельных Больших Языковых Моделей (МБЯМ). Конкретно, мы сначала исследуем внутренние дискриминационные способности МБЯМ и представляем метод генеративного поиска для выполнения поиска в режиме обучения. Затем мы объединяем генерацию и поиск в авторегрессионном способе генерации и предлагаем автономный модуль принятия решений для выбора наилучшего соответствия между сгенерированными и найденными изображениями в качестве ответа на текстовый запрос. Кроме того, мы создаем стандартизированный бенчмарк под названием TIGeR-Bench, включающий творческие и знаниевые области, для оценки единого поиска и генерации текста по изображению. Обширные экспериментальные результаты на TIGeR-Bench и двух бенчмарках поиска, а именно, Flickr30K и MS-COCO, демонстрируют превосходство и эффективность нашего предложенного метода.

English

How humans can efficiently and effectively acquire images has always been a perennial question. A typical solution is text-to-image retrieval from an existing database given the text query; however, the limited database typically lacks creativity. By contrast, recent breakthroughs in text-to-image generation have made it possible to produce fancy and diverse visual content, but it faces challenges in synthesizing knowledge-intensive images. In this work, we rethink the relationship between text-to-image generation and retrieval and propose a unified framework in the context of Multimodal Large Language Models (MLLMs). Specifically, we first explore the intrinsic discriminative abilities of MLLMs and introduce a generative retrieval method to perform retrieval in a training-free manner. Subsequently, we unify generation and retrieval in an autoregressive generation way and propose an autonomous decision module to choose the best-matched one between generated and retrieved images as the response to the text query. Additionally, we construct a benchmark called TIGeR-Bench, including creative and knowledge-intensive domains, to standardize the evaluation of unified text-to-image generation and retrieval. Extensive experimental results on TIGeR-Bench and two retrieval benchmarks, i.e., Flickr30K and MS-COCO, demonstrate the superiority and effectiveness of our proposed method.