Запрос в любой модальности: всесторонний обзор мультимодального поисково-усиленного генеративного подхода

Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-Augmented Generation

February 12, 2025

Авторы: Mohammad Mahdi Abootorabi, Amirhosein Zobeiri, Mahdi Dehghani, Mohammadali Mohammadkhani, Bardia Mohammadi, Omid Ghahroodi, Mahdieh Soleymani Baghshah, Ehsaneddin Asgari

cs.AI

Аннотация

Крупные языковые модели (LLM) сталкиваются с проблемами галлюцинаций и устаревших знаний из-за их зависимости от статических обучающих данных. Метод генерации с усилением поиска (RAG) смягчает эти проблемы за счёт интеграции внешней динамической информации, что улучшает фактическую и актуальную основу. Последние достижения в области мультимодального обучения привели к разработке мультимодального RAG, который включает несколько модальностей, таких как текст, изображения, аудио и видео, для улучшения генерируемых результатов. Однако кросс-модальное согласование и рассуждение создают уникальные вызовы для мультимодального RAG, отличая его от традиционного одномодального RAG. Данный обзор предлагает структурированный и всесторонний анализ систем мультимодального RAG, охватывая наборы данных, метрики, бенчмарки, оценку, методологии и инновации в области поиска, слияния, усиления и генерации. Мы подробно рассматриваем стратегии обучения, улучшения устойчивости и функции потерь, а также исследуем различные сценарии мультимодального RAG. Кроме того, мы обсуждаем открытые вызовы и будущие направления исследований для поддержки прогресса в этой развивающейся области. Этот обзор закладывает основу для создания более мощных и надёжных ИИ-систем, эффективно использующих мультимодальные динамические внешние базы знаний. Ресурсы доступны по адресу: https://github.com/llm-lab-org/Multimodal-RAG-Survey.

English

Large Language Models (LLMs) struggle with hallucinations and outdated knowledge due to their reliance on static training data. Retrieval-Augmented Generation (RAG) mitigates these issues by integrating external dynamic information enhancing factual and updated grounding. Recent advances in multimodal learning have led to the development of Multimodal RAG, incorporating multiple modalities such as text, images, audio, and video to enhance the generated outputs. However, cross-modal alignment and reasoning introduce unique challenges to Multimodal RAG, distinguishing it from traditional unimodal RAG. This survey offers a structured and comprehensive analysis of Multimodal RAG systems, covering datasets, metrics, benchmarks, evaluation, methodologies, and innovations in retrieval, fusion, augmentation, and generation. We precisely review training strategies, robustness enhancements, and loss functions, while also exploring the diverse Multimodal RAG scenarios. Furthermore, we discuss open challenges and future research directions to support advancements in this evolving field. This survey lays the foundation for developing more capable and reliable AI systems that effectively leverage multimodal dynamic external knowledge bases. Resources are available at https://github.com/llm-lab-org/Multimodal-RAG-Survey.