RARE: Valutazione della Robustezza con Consapevolezza del Recupero per Sistemi di Generazione Aumentata con Recupero

RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems

June 1, 2025

Autori: Yixiao Zeng, Tianyu Cao, Danqing Wang, Xinran Zhao, Zimeng Qiu, Morteza Ziyadi, Tongshuang Wu, Lei Li

cs.AI

Abstract

La Generazione Aumentata dal Recupero (Retrieval-Augmented Generation, RAG) migliora l'attualità e la veridicità delle risposte. Tuttavia, le valutazioni esistenti raramente testano quanto bene questi sistemi gestiscano il rumore del mondo reale, i conflitti tra contesti recuperati interni ed esterni, o fatti in rapida evoluzione. Introduciamo la Valutazione della Robustezza Consapevole del Recupero (Retrieval-Aware Robustness Evaluation, RARE), un framework unificato e un benchmark su larga scala che sottopone a stress test congiunti le perturbazioni delle query e dei documenti su corpora dinamici e sensibili al tempo. Una delle caratteristiche centrali di RARE è una pipeline di sintesi guidata da grafi di conoscenza (RARE-Get) che estrae automaticamente relazioni a singolo e multi-hop dal corpus personalizzato e genera set di domande a più livelli senza intervento manuale. Sfruttando questa pipeline, costruiamo un dataset (RARE-Set) che copre 400 documenti esperti sensibili al tempo in ambito finanziario, economico e politico e 48.322 domande la cui distribuzione evolve al variare delle fonti sottostanti. Per quantificare la resilienza, formalizziamo metriche di robustezza condizionate al recupero (RARE-Met) che catturano la capacità di un modello di rimanere corretto o di recuperare quando query, documenti o risultati di recupero del mondo reale vengono alterati sistematicamente. I nostri risultati mostrano che i sistemi RAG presentano una sorprendente vulnerabilità alle perturbazioni, con la robustezza dei documenti che risulta costantemente il punto più debole indipendentemente dalla dimensione o dall'architettura del generatore. I sistemi RAG mostrano costantemente una robustezza inferiore sulle query multi-hop rispetto a quelle a singolo hop in tutti i domini.

English

Retrieval-Augmented Generation (RAG) enhances recency and factuality in answers. However, existing evaluations rarely test how well these systems cope with real-world noise, conflicting between internal and external retrieved contexts, or fast-changing facts. We introduce Retrieval-Aware Robustness Evaluation (RARE), a unified framework and large-scale benchmark that jointly stress-tests query and document perturbations over dynamic, time-sensitive corpora. One of the central features of RARE is a knowledge-graph-driven synthesis pipeline (RARE-Get) that automatically extracts single and multi-hop relations from the customized corpus and generates multi-level question sets without manual intervention. Leveraging this pipeline, we construct a dataset (RARE-Set) spanning 400 expert-level time-sensitive finance, economics, and policy documents and 48,322 questions whose distribution evolves as the underlying sources change. To quantify resilience, we formalize retrieval-conditioned robustness metrics (RARE-Met) that capture a model's ability to remain correct or recover when queries, documents, or real-world retrieval results are systematically altered. Our results show that RAG systems exhibit surprising vulnerability to perturbations, with document robustness consistently being the weakest point regardless of generator size or architecture. RAG systems consistently show lower robustness on multi-hop queries than single-hop queries across all domains.