Rumo à Geração Aprimorada de Recuperação Confiável para Modelos de Linguagem Grandes: Uma Pesquisa

Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey

February 8, 2025

Autores: Bo Ni, Zheyuan Liu, Leyao Wang, Yongjia Lei, Yuying Zhao, Xueqi Cheng, Qingkai Zeng, Luna Dong, Yinglong Xia, Krishnaram Kenthapadi, Ryan Rossi, Franck Dernoncourt, Md Mehrab Tanjim, Nesreen Ahmed, Xiaorui Liu, Wenqi Fan, Erik Blasch, Yu Wang, Meng Jiang, Tyler Derr

cs.AI

Resumo

A Geração com Recuperação (RAG) é uma técnica avançada projetada para lidar com os desafios do Conteúdo Gerado por Inteligência Artificial (AIGC). Ao integrar a recuperação de contexto na geração de conteúdo, a RAG fornece conhecimento externo confiável e atualizado, reduz alucinações e garante contexto relevante em uma ampla gama de tarefas. No entanto, apesar do sucesso e potencial da RAG, estudos recentes mostraram que o paradigma RAG também introduz novos riscos, incluindo problemas de robustez, preocupações com privacidade, ataques adversariais e questões de responsabilidade. Abordar esses riscos é fundamental para as futuras aplicações de sistemas RAG, pois impactam diretamente sua confiabilidade. Embora vários métodos tenham sido desenvolvidos para melhorar a confiabilidade dos métodos RAG, há uma falta de uma perspectiva e estrutura unificadas para a pesquisa nesse tópico. Assim, neste artigo, temos como objetivo preencher essa lacuna fornecendo um roteiro abrangente para o desenvolvimento de sistemas RAG confiáveis. Nossa discussão é baseada em cinco perspectivas-chave: confiabilidade, privacidade, segurança, justiça, explicabilidade e responsabilidade. Para cada perspectiva, apresentamos um framework e taxonomia gerais, oferecendo uma abordagem estruturada para compreender os desafios atuais, avaliar soluções existentes e identificar direções promissoras para pesquisas futuras. Para incentivar uma adoção mais ampla e inovação, também destacamos as aplicações subsequentes onde sistemas RAG confiáveis têm um impacto significativo.

English

Retrieval-Augmented Generation (RAG) is an advanced technique designed to address the challenges of Artificial Intelligence-Generated Content (AIGC). By integrating context retrieval into content generation, RAG provides reliable and up-to-date external knowledge, reduces hallucinations, and ensures relevant context across a wide range of tasks. However, despite RAG's success and potential, recent studies have shown that the RAG paradigm also introduces new risks, including robustness issues, privacy concerns, adversarial attacks, and accountability issues. Addressing these risks is critical for future applications of RAG systems, as they directly impact their trustworthiness. Although various methods have been developed to improve the trustworthiness of RAG methods, there is a lack of a unified perspective and framework for research in this topic. Thus, in this paper, we aim to address this gap by providing a comprehensive roadmap for developing trustworthy RAG systems. We place our discussion around five key perspectives: reliability, privacy, safety, fairness, explainability, and accountability. For each perspective, we present a general framework and taxonomy, offering a structured approach to understanding the current challenges, evaluating existing solutions, and identifying promising future research directions. To encourage broader adoption and innovation, we also highlight the downstream applications where trustworthy RAG systems have a significant impact.