Évaluation comparative des attaques et défenses contre l'extraction de connaissances dans les systèmes de génération augmentée par la recherche d'information
Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation
February 10, 2026
papers.authors: Zhisheng Qi, Utkarsh Sahu, Li Ma, Haoyu Han, Ryan Rossi, Franck Dernoncourt, Mahantesh Halappanavar, Nesreen Ahmed, Yushun Dong, Yue Zhao, Yu Zhang, Yu Wang
cs.AI
papers.abstract
La génération augmentée par récupération (RAG) est devenue une pierre angulaire des applications intensives en connaissances, incluant les chatbots d'entreprise, les assistants de santé et la gestion de mémoire agentique. Cependant, des études récentes montrent que les attaques par extraction de connaissances peuvent récupérer le contenu sensible d'une base de connaissances via des requêtes malveillamment conçues, soulevant de sérieuses préoccupations concernant le vol de propriété intellectuelle et la fuite de données. Bien que les travaux antérieurs aient exploré des techniques individuelles d'attaque et de défense, le paysage de la recherche reste fragmenté, couvrant des plongements lexicaux hétérogènes, des modèles de génération divers et des évaluations basées sur des métriques non standardisées et des jeux de données incohérents. Pour combler cette lacune, nous présentons le premier benchmark systématique pour les attaques par extraction de connaissances sur les systèmes RAG. Notre benchmark couvre un large éventail de stratégies d'attaque et de défense, des modèles de plongements lexicaux représentatifs, ainsi que des générateurs open source et propriétaires, le tout évalué dans un cadre expérimental unifié avec des protocoles standardisés sur plusieurs jeux de données. En consolidant le paysage expérimental et en permettant une évaluation reproductible et comparable, ce benchmark fournit des perspectives exploitables et une base pratique pour développer des systèmes RAG préservant la vie privée face aux menaces émergentes d'extraction de connaissances. Notre code est disponible ici.
English
Retrieval-Augmented Generation (RAG) has become a cornerstone of knowledge-intensive applications, including enterprise chatbots, healthcare assistants, and agentic memory management. However, recent studies show that knowledge-extraction attacks can recover sensitive knowledge-base content through maliciously crafted queries, raising serious concerns about intellectual property theft and privacy leakage. While prior work has explored individual attack and defense techniques, the research landscape remains fragmented, spanning heterogeneous retrieval embeddings, diverse generation models, and evaluations based on non-standardized metrics and inconsistent datasets. To address this gap, we introduce the first systematic benchmark for knowledge-extraction attacks on RAG systems. Our benchmark covers a broad spectrum of attack and defense strategies, representative retrieval embedding models, and both open- and closed-source generators, all evaluated under a unified experimental framework with standardized protocols across multiple datasets. By consolidating the experimental landscape and enabling reproducible, comparable evaluation, this benchmark provides actionable insights and a practical foundation for developing privacy-preserving RAG systems in the face of emerging knowledge extraction threats. Our code is available here.