Geração e Recuperação Unificadas de Texto para Imagem

Unified Text-to-Image Generation and Retrieval

June 9, 2024

Autores: Leigang Qu, Haochuan Li, Tan Wang, Wenjie Wang, Yongqi Li, Liqiang Nie, Tat-Seng Chua

cs.AI

Resumo

Como os seres humanos podem adquirir imagens de forma eficiente e eficaz sempre foi uma questão perene. Uma solução típica é a recuperação de texto para imagem a partir de um banco de dados existente, dado o texto de consulta; no entanto, o banco de dados limitado geralmente carece de criatividade. Em contraste, os recentes avanços na geração de texto para imagem tornaram possível produzir conteúdo visual sofisticado e diversificado, mas enfrentam desafios na síntese de imagens que exigem conhecimento intensivo. Neste trabalho, repensamos a relação entre geração e recuperação de texto para imagem e propomos uma estrutura unificada no contexto dos Modelos de Linguagem Multimodal de Grande Escala (MLLMs). Especificamente, primeiro exploramos as habilidades discriminativas intrínsecas dos MLLMs e introduzimos um método de recuperação generativa para realizar a recuperação de maneira livre de treinamento. Posteriormente, unificamos geração e recuperação de forma autoregressiva e propomos um módulo de decisão autônomo para escolher a melhor correspondência entre as imagens geradas e recuperadas como resposta ao texto de consulta. Além disso, construímos um benchmark chamado TIGeR-Bench, incluindo domínios criativos e de conhecimento intensivo, para padronizar a avaliação da geração e recuperação unificada de texto para imagem. Resultados experimentais extensivos no TIGeR-Bench e em dois benchmarks de recuperação, ou seja, Flickr30K e MS-COCO, demonstram a superioridade e eficácia do nosso método proposto.

English

How humans can efficiently and effectively acquire images has always been a perennial question. A typical solution is text-to-image retrieval from an existing database given the text query; however, the limited database typically lacks creativity. By contrast, recent breakthroughs in text-to-image generation have made it possible to produce fancy and diverse visual content, but it faces challenges in synthesizing knowledge-intensive images. In this work, we rethink the relationship between text-to-image generation and retrieval and propose a unified framework in the context of Multimodal Large Language Models (MLLMs). Specifically, we first explore the intrinsic discriminative abilities of MLLMs and introduce a generative retrieval method to perform retrieval in a training-free manner. Subsequently, we unify generation and retrieval in an autoregressive generation way and propose an autonomous decision module to choose the best-matched one between generated and retrieved images as the response to the text query. Additionally, we construct a benchmark called TIGeR-Bench, including creative and knowledge-intensive domains, to standardize the evaluation of unified text-to-image generation and retrieval. Extensive experimental results on TIGeR-Bench and two retrieval benchmarks, i.e., Flickr30K and MS-COCO, demonstrate the superiority and effectiveness of our proposed method.