ImageRAG: Recuperación Dinámica de Imágenes para la Generación de Imágenes Guiada por Referencia

ImageRAG: Dynamic Image Retrieval for Reference-Guided Image Generation

February 13, 2025

Autores: Rotem Shalev-Arkushin, Rinon Gal, Amit H. Bermano, Ohad Fried

cs.AI

Resumen

Los modelos de difusión permiten la síntesis de contenido visual de alta calidad y diversidad. Sin embargo, presentan dificultades para generar conceptos raros o no vistos. Para abordar este desafío, exploramos el uso de Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) con modelos de generación de imágenes. Proponemos ImageRAG, un método que recupera dinámicamente imágenes relevantes basadas en un texto de entrada y las utiliza como contexto para guiar el proceso de generación. Enfoques previos que utilizaron imágenes recuperadas para mejorar la generación entrenaron modelos específicamente para la generación basada en recuperación. En contraste, ImageRAG aprovecha las capacidades de los modelos existentes de condicionamiento de imágenes y no requiere entrenamiento específico para RAG. Nuestro enfoque es altamente adaptable y puede aplicarse a diferentes tipos de modelos, mostrando una mejora significativa en la generación de conceptos raros y detallados utilizando diferentes modelos base. Nuestra página del proyecto está disponible en: https://rotem-shalev.github.io/ImageRAG.

English

Diffusion models enable high-quality and diverse visual content synthesis. However, they struggle to generate rare or unseen concepts. To address this challenge, we explore the usage of Retrieval-Augmented Generation (RAG) with image generation models. We propose ImageRAG, a method that dynamically retrieves relevant images based on a given text prompt, and uses them as context to guide the generation process. Prior approaches that used retrieved images to improve generation, trained models specifically for retrieval-based generation. In contrast, ImageRAG leverages the capabilities of existing image conditioning models, and does not require RAG-specific training. Our approach is highly adaptable and can be applied across different model types, showing significant improvement in generating rare and fine-grained concepts using different base models. Our project page is available at: https://rotem-shalev.github.io/ImageRAG