Benchmarken van Kennis-Extractieaanvallen en Verdediging op Retrieval-Augmented Generation

Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation

February 10, 2026

Auteurs: Zhisheng Qi, Utkarsh Sahu, Li Ma, Haoyu Han, Ryan Rossi, Franck Dernoncourt, Mahantesh Halappanavar, Nesreen Ahmed, Yushun Dong, Yue Zhao, Yu Zhang, Yu Wang

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) is uitgegroeid tot een hoeksteen van kennisintensieve toepassingen, zoals zakelijke chatbots, gezondheidsassistenten en agent-geheugenbeheer. Recente studies tonen echter aan dat kennis-extractieaanvallen gevoelige inhoud uit kennisbanken kunnen achterhalen via kwaadaardig geformuleerde queries, wat ernstige zorgen opwerpt over intellectuele eigendomsdiefstal en privacylekken. Hoewel eerder onderzoek individuele aanvals- en verdedigingstechnieken heeft verkend, blijft het onderzoekslandschap gefragmenteerd, met heterogene retrieval-embeddingen, uiteenlopende generatiemodellen en evaluaties gebaseerd op niet-gestandaardiseerde metrieken en inconsistente datasets. Om deze lacune aan te pakken, introduceren we de eerste systematische benchmark voor kennis-extractieaanvallen op RAG-systemen. Onze benchmark omvat een breed scala aan aanvals- en verdedigingsstrategieën, representatieve retrieval-embeddingmodellen, en zowel open- als closed-source generatoren, allemaal geëvalueerd binnen een uniform experimenteel kader met gestandaardiseerde protocollen over meerdere datasets. Door het experimentele landschap te consolideren en reproduceerbare, vergelijkbare evaluatie mogelijk te maken, biedt deze benchmark bruikbare inzichten en een praktische basis voor de ontwikkeling van privacybeschermende RAG-systemen in het licht van opkomende kennis-extractiebedreigingen. Onze code is hier beschikbaar.

English

Retrieval-Augmented Generation (RAG) has become a cornerstone of knowledge-intensive applications, including enterprise chatbots, healthcare assistants, and agentic memory management. However, recent studies show that knowledge-extraction attacks can recover sensitive knowledge-base content through maliciously crafted queries, raising serious concerns about intellectual property theft and privacy leakage. While prior work has explored individual attack and defense techniques, the research landscape remains fragmented, spanning heterogeneous retrieval embeddings, diverse generation models, and evaluations based on non-standardized metrics and inconsistent datasets. To address this gap, we introduce the first systematic benchmark for knowledge-extraction attacks on RAG systems. Our benchmark covers a broad spectrum of attack and defense strategies, representative retrieval embedding models, and both open- and closed-source generators, all evaluated under a unified experimental framework with standardized protocols across multiple datasets. By consolidating the experimental landscape and enabling reproducible, comparable evaluation, this benchmark provides actionable insights and a practical foundation for developing privacy-preserving RAG systems in the face of emerging knowledge extraction threats. Our code is available here.