Generazione e Recupero Unificati di Immagini da Testo

Unified Text-to-Image Generation and Retrieval

June 9, 2024

Autori: Leigang Qu, Haochuan Li, Tan Wang, Wenjie Wang, Yongqi Li, Liqiang Nie, Tat-Seng Chua

cs.AI

Abstract

Come gli esseri umani possano acquisire immagini in modo efficiente ed efficace è sempre stata una questione perenne. Una soluzione tipica è il recupero di immagini da un database esistente dato un testo di query; tuttavia, il database limitato tipicamente manca di creatività. Al contrario, le recenti innovazioni nella generazione di immagini da testo hanno reso possibile produrre contenuti visivi fantasiosi e diversificati, ma si scontrano con sfide nella sintesi di immagini ad alta intensità di conoscenza. In questo lavoro, ripensiamo alla relazione tra generazione e recupero di immagini da testo e proponiamo un framework unificato nel contesto dei Modelli Linguistici Multimodali di Grande Scala (MLLMs). Nello specifico, esploriamo prima le capacità discriminative intrinseche degli MLLMs e introduciamo un metodo di recupero generativo per eseguire il recupero in modo senza addestramento. Successivamente, unifichiamo generazione e recupero in un modo generativo autoregressivo e proponiamo un modulo decisionale autonomo per scegliere la migliore corrispondenza tra immagini generate e recuperate come risposta alla query testuale. Inoltre, costruiamo un benchmark chiamato TIGeR-Bench, che include domini creativi e ad alta intensità di conoscenza, per standardizzare la valutazione della generazione e del recupero unificati di immagini da testo. I risultati sperimentali estensivi su TIGeR-Bench e due benchmark di recupero, ovvero Flickr30K e MS-COCO, dimostrano la superiorità e l'efficacia del nostro metodo proposto.

English

How humans can efficiently and effectively acquire images has always been a perennial question. A typical solution is text-to-image retrieval from an existing database given the text query; however, the limited database typically lacks creativity. By contrast, recent breakthroughs in text-to-image generation have made it possible to produce fancy and diverse visual content, but it faces challenges in synthesizing knowledge-intensive images. In this work, we rethink the relationship between text-to-image generation and retrieval and propose a unified framework in the context of Multimodal Large Language Models (MLLMs). Specifically, we first explore the intrinsic discriminative abilities of MLLMs and introduce a generative retrieval method to perform retrieval in a training-free manner. Subsequently, we unify generation and retrieval in an autoregressive generation way and propose an autonomous decision module to choose the best-matched one between generated and retrieved images as the response to the text query. Additionally, we construct a benchmark called TIGeR-Bench, including creative and knowledge-intensive domains, to standardize the evaluation of unified text-to-image generation and retrieval. Extensive experimental results on TIGeR-Bench and two retrieval benchmarks, i.e., Flickr30K and MS-COCO, demonstrate the superiority and effectiveness of our proposed method.