Pregunta en Cualquier Modalidad: Un Estudio Exhaustivo sobre la Generación Aumentada por Recuperación Multimodal

Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-Augmented Generation

February 12, 2025

Autores: Mohammad Mahdi Abootorabi, Amirhosein Zobeiri, Mahdi Dehghani, Mohammadali Mohammadkhani, Bardia Mohammadi, Omid Ghahroodi, Mahdieh Soleymani Baghshah, Ehsaneddin Asgari

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) enfrentan dificultades con alucinaciones y conocimiento desactualizado debido a su dependencia de datos de entrenamiento estáticos. La Generación Aumentada por Recuperación (RAG) mitiga estos problemas al integrar información externa dinámica, mejorando la fundamentación factual y actualizada. Los avances recientes en aprendizaje multimodal han llevado al desarrollo de RAG Multimodal, incorporando múltiples modalidades como texto, imágenes, audio y video para mejorar las salidas generadas. Sin embargo, la alineación y el razonamiento entre modalidades introducen desafíos únicos en RAG Multimodal, diferenciándolo del RAG unimodal tradicional. Este estudio ofrece un análisis estructurado y exhaustivo de los sistemas RAG Multimodal, cubriendo conjuntos de datos, métricas, puntos de referencia, evaluación, metodologías e innovaciones en recuperación, fusión, aumento y generación. Revisamos detalladamente las estrategias de entrenamiento, mejoras de robustez y funciones de pérdida, mientras exploramos los diversos escenarios de RAG Multimodal. Además, discutimos desafíos abiertos y direcciones futuras de investigación para apoyar avances en este campo en evolución. Este estudio sienta las bases para desarrollar sistemas de IA más capaces y confiables que aprovechen efectivamente bases de conocimiento externo dinámico y multimodal. Los recursos están disponibles en https://github.com/llm-lab-org/Multimodal-RAG-Survey.

English

Large Language Models (LLMs) struggle with hallucinations and outdated knowledge due to their reliance on static training data. Retrieval-Augmented Generation (RAG) mitigates these issues by integrating external dynamic information enhancing factual and updated grounding. Recent advances in multimodal learning have led to the development of Multimodal RAG, incorporating multiple modalities such as text, images, audio, and video to enhance the generated outputs. However, cross-modal alignment and reasoning introduce unique challenges to Multimodal RAG, distinguishing it from traditional unimodal RAG. This survey offers a structured and comprehensive analysis of Multimodal RAG systems, covering datasets, metrics, benchmarks, evaluation, methodologies, and innovations in retrieval, fusion, augmentation, and generation. We precisely review training strategies, robustness enhancements, and loss functions, while also exploring the diverse Multimodal RAG scenarios. Furthermore, we discuss open challenges and future research directions to support advancements in this evolving field. This survey lays the foundation for developing more capable and reliable AI systems that effectively leverage multimodal dynamic external knowledge bases. Resources are available at https://github.com/llm-lab-org/Multimodal-RAG-Survey.