Over de Bewijstechnische Beperkingen van Lidmaatschapsinferentie voor Auteursrechtaudits

On the Evidentiary Limits of Membership Inference for Copyright Auditing

January 19, 2026

Auteurs: Murat Bilgehan Ertan, Emirhan Böge, Min Chen, Kaleel Mahmood, Marten van Dijk

cs.AI

Samenvatting

Naarmate grote taalmodellen (LLM's) worden getraind op steeds ondoorzichtiger corpora, zijn lidmaatschapsinferentie-aanvallen (MIA's) voorgesteld om te controleren of gecopyrighteerde teksten tijdens de training zijn gebruikt, ondanks groeiende zorgen over hun betrouwbaarheid onder realistische omstandigheden. Wij onderzoeken of MIA's kunnen dienen als toelaatbaar bewijs in adversariële geschillen over auteursrecht, waarbij een beschuldigde modelontwikkelaar de trainingsgegevens kan verhullen met behoud van semantische inhoud, en formaliseren deze setting via een rechter-aanklager-beschuldigde communicatieprotocol. Om de robuustheid onder dit protocol te testen, introduceren we SAGE (Structure-Aware SAE-Guided Extraction), een parafraseerframework geleid door Sparse Autoencoders (SAE's) dat trainingsgegevens herschrijft om de lexicale structuur te wijzigen met behoud van semantische inhoud en downstream nut. Onze experimenten tonen aan dat state-of-the-art MIA's afnemen wanneer modellen worden gefinetuned op door SAGE gegenereerde parafrases, wat aangeeft dat hun signalen niet robuust zijn tegen semantiekbehoudende transformaties. Hoewel er in bepaalde finetuning-regimes enige datalekken blijven bestaan, suggereren deze resultaten dat MIA's broos zijn in adversariële settings en onvoldoende, op zichzelf, als een opzichzelfstaand mechanisme voor auteursrechtaudits van LLM's.

English

As large language models (LLMs) are trained on increasingly opaque corpora, membership inference attacks (MIAs) have been proposed to audit whether copyrighted texts were used during training, despite growing concerns about their reliability under realistic conditions. We ask whether MIAs can serve as admissible evidence in adversarial copyright disputes where an accused model developer may obfuscate training data while preserving semantic content, and formalize this setting through a judge-prosecutor-accused communication protocol. To test robustness under this protocol, we introduce SAGE (Structure-Aware SAE-Guided Extraction), a paraphrasing framework guided by Sparse Autoencoders (SAEs) that rewrites training data to alter lexical structure while preserving semantic content and downstream utility. Our experiments show that state-of-the-art MIAs degrade when models are fine-tuned on SAGE-generated paraphrases, indicating that their signals are not robust to semantics-preserving transformations. While some leakage remains in certain fine-tuning regimes, these results suggest that MIAs are brittle in adversarial settings and insufficient, on their own, as a standalone mechanism for copyright auditing of LLMs.