Сравнительный анализ атак на извлечение знаний и методов защиты в системах генерации с извлечением информации

Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation

February 10, 2026

Авторы: Zhisheng Qi, Utkarsh Sahu, Li Ma, Haoyu Han, Ryan Rossi, Franck Dernoncourt, Mahantesh Halappanavar, Nesreen Ahmed, Yushun Dong, Yue Zhao, Yu Zhang, Yu Wang

cs.AI

Аннотация

Технология Retrieval-Augmented Generation (RAG) стала краеугольным камнем для задач, требующих работы со знаниями, включая корпоративные чат-боты, медицинские ассистенты и управление памятью агентов. Однако последние исследования показывают, что атаки на извлечение знаний позволяют восстановить конфиденциальное содержимое базы знаний с помощью злонамеренно сформированных запросов, что вызывает серьезную озабоченность в связи с рисками кражи интеллектуальной собственности и утечки приватных данных. В то время как предыдущие работы исследовали отдельные методы атак и защиты, исследовательское поле остается разрозненным, охватывая гетерогенные модели поисковых эмбеддингов, разнообразные генеративные модели и оценки, основанные на нестандартизированных метриках и несогласованных наборах данных. Для устранения этого пробела мы представляем первую систематическую методику для сравнительного анализа атак на извлечение знаний в RAG-системах. Наша методика охватывает широкий спектр стратегий атак и защиты, репрезентативные модели поисковых эмбеддингов, а также как открытые, так и проприетарные генеративные модели, — все они оцениваются в рамках единого экспериментального подхода со стандартизированными протоколами на множестве наборов данных. Консолидируя экспериментальное поле и обеспечивая воспроизводимую и сопоставимую оценку, данная методика дает практические рекомендации и закладывает основу для разработки сохраняющих конфиденциальность RAG-систем в условиях растущих угроз извлечения знаний. Наш код доступен по ссылке.

English

Retrieval-Augmented Generation (RAG) has become a cornerstone of knowledge-intensive applications, including enterprise chatbots, healthcare assistants, and agentic memory management. However, recent studies show that knowledge-extraction attacks can recover sensitive knowledge-base content through maliciously crafted queries, raising serious concerns about intellectual property theft and privacy leakage. While prior work has explored individual attack and defense techniques, the research landscape remains fragmented, spanning heterogeneous retrieval embeddings, diverse generation models, and evaluations based on non-standardized metrics and inconsistent datasets. To address this gap, we introduce the first systematic benchmark for knowledge-extraction attacks on RAG systems. Our benchmark covers a broad spectrum of attack and defense strategies, representative retrieval embedding models, and both open- and closed-source generators, all evaluated under a unified experimental framework with standardized protocols across multiple datasets. By consolidating the experimental landscape and enabling reproducible, comparable evaluation, this benchmark provides actionable insights and a practical foundation for developing privacy-preserving RAG systems in the face of emerging knowledge extraction threats. Our code is available here.