SILO-Sprachmodelle: Isolierung rechtlicher Risiken in einem nichtparametrischen Datenspeicher

SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore

August 8, 2023

Autoren: Sewon Min, Suchin Gururangan, Eric Wallace, Hannaneh Hajishirzi, Noah A. Smith, Luke Zettlemoyer

cs.AI

Zusammenfassung

Die Rechtmäßigkeit des Trainings von Sprachmodellen (LMs) auf urheberrechtlich geschützten oder anderweitig eingeschränkten Daten wird intensiv diskutiert. Wie wir jedoch zeigen, verschlechtert sich die Modellleistung erheblich, wenn das Training nur auf risikoarmen Texten (z. B. gemeinfreien Büchern oder Regierungsdokumenten) basiert, da diese in Umfang und Themenabdeckung begrenzt sind. Wir stellen SILO vor, ein neues Sprachmodell, das diesen Zielkonflikt zwischen Risiko und Leistung während der Inferenz handhabt. SILO wird entwickelt, indem (1) ein parametrisches LM auf dem Open License Corpus (OLC) trainiert wird, einem neuen Korpus, den wir mit 228 Milliarden Tokens aus gemeinfreien und permissiv lizenzierten Texten kuratiert haben, und (2) es durch einen allgemeineren und leicht modifizierbaren nichtparametrischen Datenspeicher ergänzt wird (z. B. mit urheberrechtlich geschützten Büchern oder Nachrichten), der nur während der Inferenz abgefragt wird. Der Datenspeicher ermöglicht die Nutzung von Hochrisikodaten ohne deren Training, unterstützt die Zuweisung von Daten auf Satzebene und erlaubt es Datenproduzenten, sich vom Modell abzumelden, indem sie Inhalte aus dem Speicher entfernen. Diese Fähigkeiten können die Einhaltung von Datennutzungsvorschriften wie der Fair-Use-Doktrin in den USA und der DSGVO in der Europäischen Union fördern. Unsere Experimente zeigen, dass das parametrische LM in Bereichen, die vom OLC nicht abgedeckt werden, Schwächen aufweist. Der Zugriff auf den Datenspeicher verbessert jedoch die Leistung außerhalb dieser Bereiche erheblich und schließt 90 % der Leistungslücke zu einem LM, das auf dem Pile trainiert wurde, einem vielfältigeren Korpus mit überwiegend Hochrisikotexten. Wir analysieren auch, welcher nichtparametrische Ansatz am besten funktioniert, wo die verbleibenden Fehler liegen und wie die Leistung mit der Größe des Datenspeichers skaliert. Unsere Ergebnisse deuten darauf hin, dass es möglich ist, hochwertige Sprachmodelle zu entwickeln und gleichzeitig deren rechtliches Risiko zu mindern.

English

The legality of training language models (LMs) on copyrighted or otherwise restricted data is under intense debate. However, as we show, model performance significantly degrades if trained only on low-risk text (e.g., out-of-copyright books or government documents), due to its limited size and domain coverage. We present SILO, a new language model that manages this risk-performance tradeoff during inference. SILO is built by (1) training a parametric LM on Open License Corpus (OLC), a new corpus we curate with 228B tokens of public domain and permissively licensed text and (2) augmenting it with a more general and easily modifiable nonparametric datastore (e.g., containing copyrighted books or news) that is only queried during inference. The datastore allows use of high-risk data without training on it, supports sentence-level data attribution, and enables data producers to opt out from the model by removing content from the store. These capabilities can foster compliance with data-use regulations such as the fair use doctrine in the United States and the GDPR in the European Union. Our experiments show that the parametric LM struggles on domains not covered by OLC. However, access to the datastore greatly improves out of domain performance, closing 90% of the performance gap with an LM trained on the Pile, a more diverse corpus with mostly high-risk text. We also analyze which nonparametric approach works best, where the remaining errors lie, and how performance scales with datastore size. Our results suggest that it is possible to build high quality language models while mitigating their legal risk.