Zertifizierte Minderung des schlimmsten Falls von Urheberrechtsverletzungen durch LLMs

Certified Mitigation of Worst-Case LLM Copyright Infringement

April 22, 2025

Autoren: Jingyu Zhang, Jiacan Yu, Marc Marone, Benjamin Van Durme, Daniel Khashabi

cs.AI

Zusammenfassung

Die Exposition großer Sprachmodelle (LLMs) gegenüber urheberrechtlich geschütztem Material während des Vortrainings wirft Bedenken hinsichtlich unbeabsichtigter Urheberrechtsverletzungen nach der Bereitstellung auf. Dies hat die Entwicklung von „Copyright Takedown“-Methoden vorangetrieben, post-trainingsbasierte Ansätze, die verhindern sollen, dass Modelle Inhalte erzeugen, die urheberrechtlich geschützten Werken stark ähneln. Während aktuelle Minderungsansätze für durchschnittliche Risiken einigermaßen effektiv sind, zeigen wir, dass sie die Worst-Case-Urheberrechtsrisiken übersehen, die durch das Vorhandensein langer, wortgetreuer Zitate aus geschützten Quellen offenbart werden. Wir schlagen BloomScrub vor, einen bemerkenswert einfachen, aber äußerst effektiven Inferenzzeit-Ansatz, der zertifizierte Copyright-Takedowns ermöglicht. Unsere Methode verknüpft wiederholt Zitatdetektion mit Umformulierungstechniken, um potenziell rechtsverletzende Segmente zu transformieren. Durch die Nutzung effizienter Daten-Skizzen (Bloom-Filter) ermöglicht unser Ansatz eine skalierbare Urheberrechtsprüfung selbst für groß angelegte, reale Korpora. Wenn Zitate, die eine bestimmte Längenschwelle überschreiten, nicht entfernt werden können, kann das System davon absehen, zu antworten, und bietet so eine zertifizierte Risikoreduzierung. Experimentelle Ergebnisse zeigen, dass BloomScrub das Verletzungsrisiko verringert, die Nützlichkeit bewahrt und unterschiedliche Durchsetzungsstrenge durch adaptive Enthaltung berücksichtigt. Unsere Ergebnisse deuten darauf hin, dass leichte, Inferenzzeit-Methoden überraschend effektiv für die Urheberrechtsprävention sein können.

English

The exposure of large language models (LLMs) to copyrighted material during pre-training raises concerns about unintentional copyright infringement post deployment. This has driven the development of "copyright takedown" methods, post-training approaches aimed at preventing models from generating content substantially similar to copyrighted ones. While current mitigation approaches are somewhat effective for average-case risks, we demonstrate that they overlook worst-case copyright risks exhibits by the existence of long, verbatim quotes from copyrighted sources. We propose BloomScrub, a remarkably simple yet highly effective inference-time approach that provides certified copyright takedown. Our method repeatedly interleaves quote detection with rewriting techniques to transform potentially infringing segments. By leveraging efficient data sketches (Bloom filters), our approach enables scalable copyright screening even for large-scale real-world corpora. When quotes beyond a length threshold cannot be removed, the system can abstain from responding, offering certified risk reduction. Experimental results show that BloomScrub reduces infringement risk, preserves utility, and accommodates different levels of enforcement stringency with adaptive abstention. Our results suggest that lightweight, inference-time methods can be surprisingly effective for copyright prevention.