Über die Beweisgrenzen von Membership Inference für die Urheberrechtsprüfung
On the Evidentiary Limits of Membership Inference for Copyright Auditing
January 19, 2026
papers.authors: Murat Bilgehan Ertan, Emirhan Böge, Min Chen, Kaleel Mahmood, Marten van Dijk
cs.AI
papers.abstract
Da große Sprachmodelle (LLMs) auf zunehmend undurchsichtigen Korpora trainiert werden, wurden Membership-Inference-Angriffe (MIAs) vorgeschlagen, um zu überprüfen, ob urheberrechtlich geschützte Texte während des Trainings verwendet wurden – trotz wachsender Bedenken hinsichtlich ihrer Zuverlässigkeit unter realistischen Bedingungen. Wir untersuchen, ob MIAs als zulässige Beweismittel in adversariellen Urheberrechtsstreitigkeiten dienen können, bei denen ein beschuldigter Modellentwickler die Trainingsdaten verschleiern könnte, während der semantische Inhalt erhalten bleibt, und formalisieren diesen Rahmen durch ein Kommunikationsprotokoll zwischen Richter, Anklage und Beschuldigtem. Um die Robustheit unter diesem Protokoll zu testen, führen wir SAGE (Structure-Aware SAE-Guided Extraction) ein, ein Paraphrasierungsframework, das von Sparse Autoencoders (SAEs) gesteuert wird und Trainingsdaten so umschreibt, dass die lexikalische Struktur verändert wird, während semantischer Inhalt und nachgelagerte Nützlichkeit erhalten bleiben. Unsere Experimente zeigen, dass state-of-the-art MIAs an Wirksamkeit verlieren, wenn Modelle auf SAGE-generierten Paraphrasen feinabgestimmt werden, was darauf hindeutet, dass ihre Signale nicht robust gegenüber semantikerhaltenden Transformationen sind. Obwohl in bestimmten Fine-Tuning-Regimen noch gewisse Informationslecks bestehen, legen diese Ergebnisse nahe, dass MIAs in adversariellen Settings anfällig sind und allein nicht als eigenständiger Mechanismus für das Urheberrechts-Auditing von LLMs ausreichen.
English
As large language models (LLMs) are trained on increasingly opaque corpora, membership inference attacks (MIAs) have been proposed to audit whether copyrighted texts were used during training, despite growing concerns about their reliability under realistic conditions. We ask whether MIAs can serve as admissible evidence in adversarial copyright disputes where an accused model developer may obfuscate training data while preserving semantic content, and formalize this setting through a judge-prosecutor-accused communication protocol. To test robustness under this protocol, we introduce SAGE (Structure-Aware SAE-Guided Extraction), a paraphrasing framework guided by Sparse Autoencoders (SAEs) that rewrites training data to alter lexical structure while preserving semantic content and downstream utility. Our experiments show that state-of-the-art MIAs degrade when models are fine-tuned on SAGE-generated paraphrases, indicating that their signals are not robust to semantics-preserving transformations. While some leakage remains in certain fine-tuning regimes, these results suggest that MIAs are brittle in adversarial settings and insufficient, on their own, as a standalone mechanism for copyright auditing of LLMs.