SILO Taalmodellen: Het Isoleren van Juridisch Risico in een Non-parametrische Datastore

SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore

August 8, 2023

Auteurs: Sewon Min, Suchin Gururangan, Eric Wallace, Hannaneh Hajishirzi, Noah A. Smith, Luke Zettlemoyer

cs.AI

Samenvatting

De legaliteit van het trainen van taalmodellen (LMs) op auteursrechtelijk beschermde of anderszins beperkte data staat onder hevige discussie. Echter, zoals we aantonen, verslechtert de modelprestatie aanzienlijk als het alleen wordt getraind op laagrisicotekst (bijvoorbeeld boeken waarop het auteursrecht is verlopen of overheidsdocumenten), vanwege de beperkte omvang en domeindekking. We presenteren SILO, een nieuw taalmodel dat deze afweging tussen risico en prestaties tijdens inferentie beheert. SILO is gebouwd door (1) een parametrisch LM te trainen op het Open License Corpus (OLC), een nieuwe corpus die we hebben samengesteld met 228B tokens van tekst uit het publieke domein en tekst met permissieve licenties, en (2) dit aan te vullen met een meer algemene en gemakkelijk aanpasbare niet-parametrische datastore (bijvoorbeeld met auteursrechtelijk beschermde boeken of nieuwsartikelen) die alleen tijdens inferentie wordt geraadpleegd. De datastore maakt het mogelijk om hoogrisicodata te gebruiken zonder erop te trainen, ondersteunt attributie van data op zinsniveau, en stelt dataproducenten in staat om zich uit het model terug te trekken door inhoud uit de store te verwijderen. Deze mogelijkheden kunnen naleving van gegevensgebruiksregels bevorderen, zoals de fair use-doctrine in de Verenigde Staten en de GDPR in de Europese Unie. Onze experimenten tonen aan dat het parametrische LM moeite heeft met domeinen die niet door OLC worden gedekt. Toch verbetert toegang tot de datastore de prestaties buiten het domein aanzienlijk, waardoor 90% van het prestatieverschil met een LM getraind op The Pile, een meer diverse corpus met voornamelijk hoogrisicotekst, wordt gedicht. We analyseren ook welke niet-parametrische aanpak het beste werkt, waar de resterende fouten liggen, en hoe de prestaties schalen met de grootte van de datastore. Onze resultaten suggereren dat het mogelijk is om hoogwaardige taalmodellen te bouwen terwijl het juridische risico wordt beperkt.

English

The legality of training language models (LMs) on copyrighted or otherwise restricted data is under intense debate. However, as we show, model performance significantly degrades if trained only on low-risk text (e.g., out-of-copyright books or government documents), due to its limited size and domain coverage. We present SILO, a new language model that manages this risk-performance tradeoff during inference. SILO is built by (1) training a parametric LM on Open License Corpus (OLC), a new corpus we curate with 228B tokens of public domain and permissively licensed text and (2) augmenting it with a more general and easily modifiable nonparametric datastore (e.g., containing copyrighted books or news) that is only queried during inference. The datastore allows use of high-risk data without training on it, supports sentence-level data attribution, and enables data producers to opt out from the model by removing content from the store. These capabilities can foster compliance with data-use regulations such as the fair use doctrine in the United States and the GDPR in the European Union. Our experiments show that the parametric LM struggles on domains not covered by OLC. However, access to the datastore greatly improves out of domain performance, closing 90% of the performance gap with an LM trained on the Pile, a more diverse corpus with mostly high-risk text. We also analyze which nonparametric approach works best, where the remaining errors lie, and how performance scales with datastore size. Our results suggest that it is possible to build high quality language models while mitigating their legal risk.