Chiedi in Qualsiasi Modalità: Un'Indagine Completa sulla Generazione Aumentata dal Recupero Multimodale

Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-Augmented Generation

February 12, 2025

Autori: Mohammad Mahdi Abootorabi, Amirhosein Zobeiri, Mahdi Dehghani, Mohammadali Mohammadkhani, Bardia Mohammadi, Omid Ghahroodi, Mahdieh Soleymani Baghshah, Ehsaneddin Asgari

cs.AI

Abstract

I Large Language Models (LLMs) faticano a gestire allucinazioni e conoscenze obsolete a causa della loro dipendenza da dati di addestramento statici. La Generazione Aumentata con Recupero (Retrieval-Augmented Generation, RAG) mitiga questi problemi integrando informazioni esterne dinamiche, migliorando il fondamento fattuale e aggiornato. I recenti progressi nell'apprendimento multimodale hanno portato allo sviluppo della RAG Multimodale, che incorpora molteplici modalità come testo, immagini, audio e video per migliorare gli output generati. Tuttavia, l'allineamento e il ragionamento cross-modale introducono sfide uniche per la RAG Multimodale, distinguendola dalla RAG unimodale tradizionale. Questo survey offre un'analisi strutturata e completa dei sistemi RAG Multimodali, coprendo dataset, metriche, benchmark, valutazione, metodologie e innovazioni nel recupero, fusione, aumento e generazione. Esaminiamo con precisione le strategie di addestramento, i miglioramenti della robustezza e le funzioni di perdita, esplorando anche i diversi scenari della RAG Multimodale. Inoltre, discutiamo le sfide aperte e le future direzioni di ricerca per supportare i progressi in questo campo in evoluzione. Questo survey getta le basi per lo sviluppo di sistemi di IA più capaci e affidabili che sfruttano efficacemente basi di conoscenza esterne dinamiche e multimodali. Le risorse sono disponibili all'indirizzo https://github.com/llm-lab-org/Multimodal-RAG-Survey.

English

Large Language Models (LLMs) struggle with hallucinations and outdated knowledge due to their reliance on static training data. Retrieval-Augmented Generation (RAG) mitigates these issues by integrating external dynamic information enhancing factual and updated grounding. Recent advances in multimodal learning have led to the development of Multimodal RAG, incorporating multiple modalities such as text, images, audio, and video to enhance the generated outputs. However, cross-modal alignment and reasoning introduce unique challenges to Multimodal RAG, distinguishing it from traditional unimodal RAG. This survey offers a structured and comprehensive analysis of Multimodal RAG systems, covering datasets, metrics, benchmarks, evaluation, methodologies, and innovations in retrieval, fusion, augmentation, and generation. We precisely review training strategies, robustness enhancements, and loss functions, while also exploring the diverse Multimodal RAG scenarios. Furthermore, we discuss open challenges and future research directions to support advancements in this evolving field. This survey lays the foundation for developing more capable and reliable AI systems that effectively leverage multimodal dynamic external knowledge bases. Resources are available at https://github.com/llm-lab-org/Multimodal-RAG-Survey.