Загадка для вас! Скрытый вывод членства для генерации с усилением поиска

Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation

February 1, 2025

Авторы: Ali Naseh, Yuefeng Peng, Anshuman Suri, Harsh Chaudhari, Alina Oprea, Amir Houmansadr

cs.AI

Аннотация

Метод "Поиск с восстановлением" (Retrieval-Augmented Generation, RAG) позволяет крупным языковым моделям (Large Language Models, LLMs) генерировать обоснованные ответы, используя внешние базы знаний, не изменяя параметры модели. Хотя отсутствие настройки весов предотвращает утечку через параметры модели, это вносит риск использования извлеченных документов инферентными атакующими в контексте модели. Существующие методы для определения членства и извлечения данных часто зависят от обхода защиты или тщательно разработанных неестественных запросов, которые могут быть легко обнаружены или предотвращены с помощью техник переписывания запросов, распространенных в системах RAG. В данной работе мы представляем "Атаку допроса" (Interrogation Attack, IA), метод определения членства, нацеленный на документы в хранилище данных RAG. Создавая естественно-текстовые запросы, на которые можно ответить только при наличии целевого документа, наш подход демонстрирует успешное определение членства всего с 30 запросами, оставаясь незаметным; прямые детекторы идентифицируют атакующие запросы из существующих методов в ~76 раз чаще, чем те, которые генерируются нашей атакой. Мы наблюдаем улучшение в 2 раза показателя TPR@1%FPR по сравнению с предыдущими атаками определения членства в различных конфигурациях RAG, все это обходится менее чем $0.02 за определение членства документа.

English

Retrieval-Augmented Generation (RAG) enables Large Language Models (LLMs) to generate grounded responses by leveraging external knowledge databases without altering model parameters. Although the absence of weight tuning prevents leakage via model parameters, it introduces the risk of inference adversaries exploiting retrieved documents in the model's context. Existing methods for membership inference and data extraction often rely on jailbreaking or carefully crafted unnatural queries, which can be easily detected or thwarted with query rewriting techniques common in RAG systems. In this work, we present Interrogation Attack (IA), a membership inference technique targeting documents in the RAG datastore. By crafting natural-text queries that are answerable only with the target document's presence, our approach demonstrates successful inference with just 30 queries while remaining stealthy; straightforward detectors identify adversarial prompts from existing methods up to ~76x more frequently than those generated by our attack. We observe a 2x improvement in TPR@1%FPR over prior inference attacks across diverse RAG configurations, all while costing less than $0.02 per document inference.