Raadsel me dit! Sluwe lidmaatschapsinferentie voor opvraging-versterkte generatie

Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation

February 1, 2025

Auteurs: Ali Naseh, Yuefeng Peng, Anshuman Suri, Harsh Chaudhari, Alina Oprea, Amir Houmansadr

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) stelt Large Language Models (LLMs) in staat om gefundeerde antwoorden te genereren door gebruik te maken van externe kennisbanken zonder de modelparameters te wijzigen. Hoewel het ontbreken van gewichtsaanpassing lekkage via modelparameters voorkomt, brengt het risico met zich mee dat inferentie-tegenstanders de opgehaalde documenten in de context van het model kunnen benutten. Bestaande methoden voor lidmaatschapsinferentie en gegevensextractie vertrouwen vaak op jailbreaking of zorgvuldig vervaardigde onnatuurlijke vragen, die gemakkelijk kunnen worden gedetecteerd of verijdeld met query-herformuleringstechnieken die gangbaar zijn in RAG-systemen. In dit werk presenteren we Interrogation Attack (IA), een lidmaatschapsinferentietechniek die zich richt op documenten in de RAG-databank. Door natuurlijke tekstvragen te formuleren die alleen beantwoord kunnen worden met de aanwezigheid van het doeldocument, toont onze aanpak succesvolle inferentie met slechts 30 vragen, terwijl deze onopgemerkt blijft; eenvoudige detectoren identificeren vijandige aanwijzingen van bestaande methoden tot ~76x vaker dan die gegenereerd door onze aanval. We observeren een 2x verbetering in TPR@1%FPR ten opzichte van eerdere inferentieaanvallen over diverse RAG-configuraties, terwijl de kosten minder dan $0.02 per documentinferentie bedragen.

English

Retrieval-Augmented Generation (RAG) enables Large Language Models (LLMs) to generate grounded responses by leveraging external knowledge databases without altering model parameters. Although the absence of weight tuning prevents leakage via model parameters, it introduces the risk of inference adversaries exploiting retrieved documents in the model's context. Existing methods for membership inference and data extraction often rely on jailbreaking or carefully crafted unnatural queries, which can be easily detected or thwarted with query rewriting techniques common in RAG systems. In this work, we present Interrogation Attack (IA), a membership inference technique targeting documents in the RAG datastore. By crafting natural-text queries that are answerable only with the target document's presence, our approach demonstrates successful inference with just 30 queries while remaining stealthy; straightforward detectors identify adversarial prompts from existing methods up to ~76x more frequently than those generated by our attack. We observe a 2x improvement in TPR@1%FPR over prior inference attacks across diverse RAG configurations, all while costing less than $0.02 per document inference.