Rätsel mir dies! Heimliche Mitgliedschaftsinferenz für abrufgestützte Generierung.

Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation

February 1, 2025

Autoren: Ali Naseh, Yuefeng Peng, Anshuman Suri, Harsh Chaudhari, Alina Oprea, Amir Houmansadr

cs.AI

Zusammenfassung

Die Retrieval-gestützte Generierung (RAG) ermöglicht es großen Sprachmodellen (LLMs), fundierte Antworten zu generieren, indem externe Wissensdatenbanken genutzt werden, ohne die Modellparameter zu verändern. Obwohl das Fehlen von Gewichtsanpassungen das Risiko von Informationslecks über Modellparameter verhindert, birgt es die Gefahr, dass Inferenzgegner die abgerufenen Dokumente im Kontext des Modells ausnutzen. Bestehende Methoden für die Mitgliedschaftsinferenz und Datenextraktion stützen sich oft auf Jailbreaking oder sorgfältig ausgearbeitete unnatürliche Abfragen, die jedoch leicht mit den in RAG-Systemen üblichen Abfrage-Umschreibungstechniken erkannt oder vereitelt werden können. In dieser Arbeit präsentieren wir den Interrogation Attack (IA), eine Mitgliedschaftsinferenztechnik, die auf Dokumente im RAG-Datenspeicher abzielt. Durch die Erstellung von natürlichsprachlichen Abfragen, die nur mit der Anwesenheit des Ziel-Dokuments beantwortet werden können, zeigt unser Ansatz eine erfolgreiche Inferenz mit nur 30 Abfragen, während er unauffällig bleibt; herkömmliche Detektoren identifizieren feindliche Aufforderungen aus bestehenden Methoden bis zu ~76-mal häufiger als die von unserem Angriff generierten. Wir beobachten eine 2-fache Verbesserung von TPR@1%FPR gegenüber früheren Inferenzangriffen in verschiedenen RAG-Konfigurationen, und das alles zu Kosten von weniger als $0.02 pro Dokumenteninferenz.

English

Retrieval-Augmented Generation (RAG) enables Large Language Models (LLMs) to generate grounded responses by leveraging external knowledge databases without altering model parameters. Although the absence of weight tuning prevents leakage via model parameters, it introduces the risk of inference adversaries exploiting retrieved documents in the model's context. Existing methods for membership inference and data extraction often rely on jailbreaking or carefully crafted unnatural queries, which can be easily detected or thwarted with query rewriting techniques common in RAG systems. In this work, we present Interrogation Attack (IA), a membership inference technique targeting documents in the RAG datastore. By crafting natural-text queries that are answerable only with the target document's presence, our approach demonstrates successful inference with just 30 queries while remaining stealthy; straightforward detectors identify adversarial prompts from existing methods up to ~76x more frequently than those generated by our attack. We observe a 2x improvement in TPR@1%FPR over prior inference attacks across diverse RAG configurations, all while costing less than $0.02 per document inference.