Modelli Linguistici SILO: Isolamento del Rischio Legale in un Archivio Dati Non Parametrico

SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore

August 8, 2023

Autori: Sewon Min, Suchin Gururangan, Eric Wallace, Hannaneh Hajishirzi, Noah A. Smith, Luke Zettlemoyer

cs.AI

Abstract

La legalità dell'addestramento di modelli linguistici (LM) su dati protetti da copyright o altrimenti soggetti a restrizioni è oggetto di intenso dibattito. Tuttavia, come dimostriamo, le prestazioni del modello si degradano significativamente se addestrato solo su testi a basso rischio (ad esempio, libri fuori copyright o documenti governativi), a causa delle dimensioni limitate e della copertura di dominio ridotta. Presentiamo SILO, un nuovo modello linguistico che gestisce questo compromesso tra rischio e prestazioni durante l'inferenza. SILO è costruito (1) addestrando un LM parametrico sull'Open License Corpus (OLC), un nuovo corpus da noi curato con 228 miliardi di token di testo di pubblico dominio e con licenza permissiva, e (2) arricchendolo con un archivio dati non parametrico più generale e facilmente modificabile (ad esempio, contenente libri protetti da copyright o notizie) che viene consultato solo durante l'inferenza. L'archivio dati consente l'uso di dati ad alto rischio senza addestrarvi il modello, supporta l'attribuzione dei dati a livello di frase e permette ai produttori di dati di escludersi dal modello rimuovendo i contenuti dall'archivio. Queste capacità possono favorire la conformità alle normative sull'uso dei dati, come la dottrina del fair use negli Stati Uniti e il GDPR nell'Unione Europea. I nostri esperimenti mostrano che il LM parametrico ha difficoltà nei domini non coperti da OLC. Tuttavia, l'accesso all'archivio dati migliora notevolmente le prestazioni fuori dominio, colmando il 90% del divario prestazionale rispetto a un LM addestrato su The Pile, un corpus più diversificato con testi prevalentemente ad alto rischio. Analizziamo anche quale approccio non parametrico funziona meglio, dove si trovano gli errori rimanenti e come le prestazioni scalano con le dimensioni dell'archivio dati. I nostri risultati suggeriscono che è possibile costruire modelli linguistici di alta qualità mitigandone il rischio legale.

English

The legality of training language models (LMs) on copyrighted or otherwise restricted data is under intense debate. However, as we show, model performance significantly degrades if trained only on low-risk text (e.g., out-of-copyright books or government documents), due to its limited size and domain coverage. We present SILO, a new language model that manages this risk-performance tradeoff during inference. SILO is built by (1) training a parametric LM on Open License Corpus (OLC), a new corpus we curate with 228B tokens of public domain and permissively licensed text and (2) augmenting it with a more general and easily modifiable nonparametric datastore (e.g., containing copyrighted books or news) that is only queried during inference. The datastore allows use of high-risk data without training on it, supports sentence-level data attribution, and enables data producers to opt out from the model by removing content from the store. These capabilities can foster compliance with data-use regulations such as the fair use doctrine in the United States and the GDPR in the European Union. Our experiments show that the parametric LM struggles on domains not covered by OLC. However, access to the datastore greatly improves out of domain performance, closing 90% of the performance gap with an LM trained on the Pile, a more diverse corpus with mostly high-risk text. We also analyze which nonparametric approach works best, where the remaining errors lie, and how performance scales with datastore size. Our results suggest that it is possible to build high quality language models while mitigating their legal risk.