Vraag in Elke Modaliteit: Een Uitgebreid Onderzoek naar Multimodale Retrieval-Augmented Generatie

Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-Augmented Generation

February 12, 2025

Auteurs: Mohammad Mahdi Abootorabi, Amirhosein Zobeiri, Mahdi Dehghani, Mohammadali Mohammadkhani, Bardia Mohammadi, Omid Ghahroodi, Mahdieh Soleymani Baghshah, Ehsaneddin Asgari

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben moeite met hallucinaties en verouderde kennis vanwege hun afhankelijkheid van statische trainingsdata. Retrieval-Augmented Generation (RAG) vermindert deze problemen door het integreren van externe dynamische informatie, wat de feitelijke en actuele onderbouwing verbetert. Recente vooruitgang in multimodale leertechnieken heeft geleid tot de ontwikkeling van Multimodale RAG, waarbij meerdere modaliteiten zoals tekst, afbeeldingen, audio en video worden geïntegreerd om de gegenereerde uitvoer te verbeteren. Echter brengen cross-modale afstemming en redeneren unieke uitdagingen met zich mee voor Multimodale RAG, wat het onderscheidt van traditionele unimodale RAG. Dit overzicht biedt een gestructureerde en uitgebreide analyse van Multimodale RAG-systemen, waarbij datasets, metrieken, benchmarks, evaluatie, methodologieën en innovaties op het gebied van retrieval, fusie, augmentatie en generatie worden behandeld. We bespreken nauwkeurig trainingsstrategieën, robuustheidsverbeteringen en verliesfuncties, terwijl we ook de diverse Multimodale RAG-scenario's verkennen. Daarnaast bespreken we openstaande uitdagingen en toekomstige onderzoeksrichtingen om vooruitgang in dit evoluerende veld te ondersteunen. Dit overzicht legt de basis voor het ontwikkelen van capabelere en betrouwbaardere AI-systemen die effectief gebruikmaken van multimodale dynamische externe kennisbronnen. Bronnen zijn beschikbaar op https://github.com/llm-lab-org/Multimodal-RAG-Survey.

English

Large Language Models (LLMs) struggle with hallucinations and outdated knowledge due to their reliance on static training data. Retrieval-Augmented Generation (RAG) mitigates these issues by integrating external dynamic information enhancing factual and updated grounding. Recent advances in multimodal learning have led to the development of Multimodal RAG, incorporating multiple modalities such as text, images, audio, and video to enhance the generated outputs. However, cross-modal alignment and reasoning introduce unique challenges to Multimodal RAG, distinguishing it from traditional unimodal RAG. This survey offers a structured and comprehensive analysis of Multimodal RAG systems, covering datasets, metrics, benchmarks, evaluation, methodologies, and innovations in retrieval, fusion, augmentation, and generation. We precisely review training strategies, robustness enhancements, and loss functions, while also exploring the diverse Multimodal RAG scenarios. Furthermore, we discuss open challenges and future research directions to support advancements in this evolving field. This survey lays the foundation for developing more capable and reliable AI systems that effectively leverage multimodal dynamic external knowledge bases. Resources are available at https://github.com/llm-lab-org/Multimodal-RAG-Survey.