ImageRAG: Recupero Dinamico di Immagini per la Generazione di Immagini Guidata da Riferimenti

ImageRAG: Dynamic Image Retrieval for Reference-Guided Image Generation

February 13, 2025

Autori: Rotem Shalev-Arkushin, Rinon Gal, Amit H. Bermano, Ohad Fried

cs.AI

Abstract

I modelli di diffusione consentono la sintesi di contenuti visivi di alta qualità e diversificati. Tuttavia, faticano a generare concetti rari o mai visti. Per affrontare questa sfida, esploriamo l'utilizzo della Generazione Aumentata da Recupero (RAG) con modelli di generazione di immagini. Proponiamo ImageRAG, un metodo che recupera dinamicamente immagini rilevanti in base a un prompt testuale fornito e le utilizza come contesto per guidare il processo di generazione. Approcci precedenti che utilizzavano immagini recuperate per migliorare la generazione, addestravano modelli specificamente per la generazione basata

English

Diffusion models enable high-quality and diverse visual content synthesis. However, they struggle to generate rare or unseen concepts. To address this challenge, we explore the usage of Retrieval-Augmented Generation (RAG) with image generation models. We propose ImageRAG, a method that dynamically retrieves relevant images based on a given text prompt, and uses them as context to guide the generation process. Prior approaches that used retrieved images to improve generation, trained models specifically for retrieval-based generation. In contrast, ImageRAG leverages the capabilities of existing image conditioning models, and does not require RAG-specific training. Our approach is highly adaptable and can be applied across different model types, showing significant improvement in generating rare and fine-grained concepts using different base models. Our project page is available at: https://rotem-shalev.github.io/ImageRAG