Benchmarking von Wissensextraktionsangriffen und Verteidigungsmaßnahmen bei retrieval-erweiterter Generierung

Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation

February 10, 2026

papers.authors: Zhisheng Qi, Utkarsh Sahu, Li Ma, Haoyu Han, Ryan Rossi, Franck Dernoncourt, Mahantesh Halappanavar, Nesreen Ahmed, Yushun Dong, Yue Zhao, Yu Zhang, Yu Wang

cs.AI

papers.abstract

Retrieval-Augmented Generation (RAG) hat sich zu einem Grundpfeiler für wissensintensive Anwendungen entwickelt, einschließlich Unternehmens-Chatbots, Gesundheitsassistenten und agentenbasierter Speicherverwaltung. Jüngste Studien zeigen jedoch, dass Wissensextraktionsangriffe sensible Inhalte der Wissensbasis durch böswillig konstruierte Abfragen wiederherstellen können, was ernste Bedenken hinsichtlich geistigen Eigentums und Datenschutzverletzungen aufwirft. Während frühere Arbeiten einzelne Angriffs- und Abwehrtechniken untersucht haben, bleibt die Forschungslage fragmentiert und erstreckt sich über heterogene Retrieval-Einbettungen, verschiedene Generierungsmodelle sowie Bewertungen auf Basis nicht standardisierter Metriken und inkonsistenter Datensätze. Um diese Lücke zu schließen, führen wir den ersten systematischen Benchmark für Wissensextraktionsangriffe auf RAG-Systeme ein. Unser Benchmark deckt ein breites Spektrum an Angriffs- und Abwehrstrategien, repräsentativen Retrieval-Einbettungsmodellen sowie Open-Source- und Closed-Source-Generatoren ab, die alle innerhalb eines einheitlichen experimentellen Rahmens mit standardisierten Protokollen über mehrere Datensätze hinweg bewertet werden. Durch die Konsolidierung der experimentellen Landschaft und die Ermöglichung reproduzierbarer, vergleichbarer Evaluation bietet dieser Benchmark umsetzbare Erkenntnisse und eine praktische Grundlage für die Entwicklung datenschutzbewusster RAG-Systeme im Angesicht neu auftretender Wissensextraktionsbedrohungen. Unser Code ist hier verfügbar.

English

Retrieval-Augmented Generation (RAG) has become a cornerstone of knowledge-intensive applications, including enterprise chatbots, healthcare assistants, and agentic memory management. However, recent studies show that knowledge-extraction attacks can recover sensitive knowledge-base content through maliciously crafted queries, raising serious concerns about intellectual property theft and privacy leakage. While prior work has explored individual attack and defense techniques, the research landscape remains fragmented, spanning heterogeneous retrieval embeddings, diverse generation models, and evaluations based on non-standardized metrics and inconsistent datasets. To address this gap, we introduce the first systematic benchmark for knowledge-extraction attacks on RAG systems. Our benchmark covers a broad spectrum of attack and defense strategies, representative retrieval embedding models, and both open- and closed-source generators, all evaluated under a unified experimental framework with standardized protocols across multiple datasets. By consolidating the experimental landscape and enabling reproducible, comparable evaluation, this benchmark provides actionable insights and a practical foundation for developing privacy-preserving RAG systems in the face of emerging knowledge extraction threats. Our code is available here.