RARE : Évaluation de la Robustesse Consciente de la Recherche pour les Systèmes de Génération Augmentée par Recherche

RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems

June 1, 2025

Auteurs: Yixiao Zeng, Tianyu Cao, Danqing Wang, Xinran Zhao, Zimeng Qiu, Morteza Ziyadi, Tongshuang Wu, Lei Li

cs.AI

Résumé

La Génération Augmentée par Récupération (Retrieval-Augmented Generation, RAG) améliore l'actualité et la factualité des réponses. Cependant, les évaluations existantes testent rarement la capacité de ces systèmes à gérer le bruit du monde réel, les conflits entre les contextes internes et externes récupérés, ou les faits en évolution rapide. Nous introduisons l'Évaluation de Robustesse Consciente de la Récupération (Retrieval-Aware Robustness Evaluation, RARE), un cadre unifié et un benchmark à grande échelle qui teste conjointement les perturbations des requêtes et des documents sur des corpus dynamiques et sensibles au temps. L'une des caractéristiques centrales de RARE est un pipeline de synthèse piloté par un graphe de connaissances (RARE-Get) qui extrait automatiquement des relations à un seul saut et à plusieurs sauts à partir du corpus personnalisé et génère des ensembles de questions à plusieurs niveaux sans intervention manuelle. En exploitant ce pipeline, nous construisons un ensemble de données (RARE-Set) couvrant 400 documents experts sensibles au temps dans les domaines de la finance, de l'économie et des politiques, ainsi que 48 322 questions dont la distribution évolue au fur et à mesure que les sources sous-jacentes changent. Pour quantifier la résilience, nous formalisons des métriques de robustesse conditionnées par la récupération (RARE-Met) qui capturent la capacité d'un modèle à rester correct ou à se rétablir lorsque les requêtes, les documents ou les résultats de récupération du monde réel sont systématiquement modifiés. Nos résultats montrent que les systèmes RAG présentent une vulnérabilité surprenante aux perturbations, la robustesse des documents étant systématiquement le point le plus faible, quelle que soit la taille ou l'architecture du générateur. Les systèmes RAG montrent systématiquement une robustesse plus faible sur les requêtes à plusieurs sauts que sur les requêtes à un seul saut, et ce dans tous les domaines.

English

Retrieval-Augmented Generation (RAG) enhances recency and factuality in answers. However, existing evaluations rarely test how well these systems cope with real-world noise, conflicting between internal and external retrieved contexts, or fast-changing facts. We introduce Retrieval-Aware Robustness Evaluation (RARE), a unified framework and large-scale benchmark that jointly stress-tests query and document perturbations over dynamic, time-sensitive corpora. One of the central features of RARE is a knowledge-graph-driven synthesis pipeline (RARE-Get) that automatically extracts single and multi-hop relations from the customized corpus and generates multi-level question sets without manual intervention. Leveraging this pipeline, we construct a dataset (RARE-Set) spanning 400 expert-level time-sensitive finance, economics, and policy documents and 48,322 questions whose distribution evolves as the underlying sources change. To quantify resilience, we formalize retrieval-conditioned robustness metrics (RARE-Met) that capture a model's ability to remain correct or recover when queries, documents, or real-world retrieval results are systematically altered. Our results show that RAG systems exhibit surprising vulnerability to perturbations, with document robustness consistently being the weakest point regardless of generator size or architecture. RAG systems consistently show lower robustness on multi-hop queries than single-hop queries across all domains.