Pergunte em Qualquer Modalidade: Um Estudo Abrangente sobre Geração Aumentada por Recuperação Multimodal

Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-Augmented Generation

February 12, 2025

Autores: Mohammad Mahdi Abootorabi, Amirhosein Zobeiri, Mahdi Dehghani, Mohammadali Mohammadkhani, Bardia Mohammadi, Omid Ghahroodi, Mahdieh Soleymani Baghshah, Ehsaneddin Asgari

cs.AI

Resumo

Grandes Modelos de Linguagem (LLMs) enfrentam dificuldades com alucinações e conhecimento desatualizado devido à sua dependência de dados de treinamento estáticos. A Geração Aumentada por Recuperação (RAG) mitiga esses problemas ao integrar informações externas dinâmicas, aprimorando a fundamentação factual e atualizada. Avanços recentes em aprendizado multimodal levaram ao desenvolvimento do RAG Multimodal, incorporando múltiplas modalidades como texto, imagens, áudio e vídeo para melhorar as saídas geradas. No entanto, o alinhamento e o raciocínio entre modalidades introduzem desafios únicos ao RAG Multimodal, distinguindo-o do RAG unimodal tradicional. Esta pesquisa oferece uma análise estruturada e abrangente dos sistemas de RAG Multimodal, cobrindo conjuntos de dados, métricas, benchmarks, avaliação, metodologias e inovações em recuperação, fusão, aumento e geração. Revisamos precisamente estratégias de treinamento, aprimoramentos de robustez e funções de perda, enquanto exploramos os diversos cenários de RAG Multimodal. Além disso, discutimos desafios em aberto e direções futuras de pesquisa para apoiar avanços neste campo em evolução. Esta pesquisa estabelece as bases para o desenvolvimento de sistemas de IA mais capazes e confiáveis que utilizam efetivamente bases de conhecimento externo dinâmico e multimodal. Recursos estão disponíveis em https://github.com/llm-lab-org/Multimodal-RAG-Survey.

English

Large Language Models (LLMs) struggle with hallucinations and outdated knowledge due to their reliance on static training data. Retrieval-Augmented Generation (RAG) mitigates these issues by integrating external dynamic information enhancing factual and updated grounding. Recent advances in multimodal learning have led to the development of Multimodal RAG, incorporating multiple modalities such as text, images, audio, and video to enhance the generated outputs. However, cross-modal alignment and reasoning introduce unique challenges to Multimodal RAG, distinguishing it from traditional unimodal RAG. This survey offers a structured and comprehensive analysis of Multimodal RAG systems, covering datasets, metrics, benchmarks, evaluation, methodologies, and innovations in retrieval, fusion, augmentation, and generation. We precisely review training strategies, robustness enhancements, and loss functions, while also exploring the diverse Multimodal RAG scenarios. Furthermore, we discuss open challenges and future research directions to support advancements in this evolving field. This survey lays the foundation for developing more capable and reliable AI systems that effectively leverage multimodal dynamic external knowledge bases. Resources are available at https://github.com/llm-lab-org/Multimodal-RAG-Survey.