Языковые модели SILO: Изоляция юридических рисков в непараметрическом хранилище данных

SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore

August 8, 2023

Авторы: Sewon Min, Suchin Gururangan, Eric Wallace, Hannaneh Hajishirzi, Noah A. Smith, Luke Zettlemoyer

cs.AI

Аннотация

Законность обучения языковых моделей (LM) на данных, защищенных авторским правом или иным образом ограниченных, является предметом активных дискуссий. Однако, как мы показываем, производительность модели значительно снижается, если обучать её только на текстах с низким уровнем риска (например, на книгах, не защищенных авторским правом, или на правительственных документах), из-за их ограниченного объема и охвата тематик. Мы представляем SILO, новую языковую модель, которая управляет компромиссом между риском и производительностью на этапе вывода. SILO создается путем (1) обучения параметрической LM на корпусе Open License Corpus (OLC), новом корпусе, который мы собрали и который содержит 228 миллиардов токенов текстов, находящихся в общественном достоянии или распространяемых под разрешительными лицензиями, и (2) дополнения её более универсальным и легко модифицируемым непараметрическим хранилищем данных (например, содержащим книги или новости, защищенные авторским правом), которое запрашивается только на этапе вывода. Хранилище данных позволяет использовать данные с высоким уровнем риска без их обучения, поддерживает атрибуцию данных на уровне предложений и позволяет производителям данных исключить их содержимое из модели, удалив его из хранилища. Эти возможности могут способствовать соблюдению нормативных требований, таких как доктрина добросовестного использования в США и GDPR в Европейском Союзе. Наши эксперименты показывают, что параметрическая LM испытывает трудности в тематиках, не охваченных OLC. Однако доступ к хранилищу данных значительно улучшает производительность за пределами этих тематик, сокращая 90% разрыва в производительности с LM, обученной на корпусе The Pile, более разнообразном корпусе, состоящем в основном из текстов с высоким уровнем риска. Мы также анализируем, какой непараметрический подход работает лучше всего, где остаются ошибки и как производительность масштабируется с размером хранилища данных. Наши результаты показывают, что возможно создавать высококачественные языковые модели, одновременно снижая их юридические риски.

English

The legality of training language models (LMs) on copyrighted or otherwise restricted data is under intense debate. However, as we show, model performance significantly degrades if trained only on low-risk text (e.g., out-of-copyright books or government documents), due to its limited size and domain coverage. We present SILO, a new language model that manages this risk-performance tradeoff during inference. SILO is built by (1) training a parametric LM on Open License Corpus (OLC), a new corpus we curate with 228B tokens of public domain and permissively licensed text and (2) augmenting it with a more general and easily modifiable nonparametric datastore (e.g., containing copyrighted books or news) that is only queried during inference. The datastore allows use of high-risk data without training on it, supports sentence-level data attribution, and enables data producers to opt out from the model by removing content from the store. These capabilities can foster compliance with data-use regulations such as the fair use doctrine in the United States and the GDPR in the European Union. Our experiments show that the parametric LM struggles on domains not covered by OLC. However, access to the datastore greatly improves out of domain performance, closing 90% of the performance gap with an LM trained on the Pile, a more diverse corpus with mostly high-risk text. We also analyze which nonparametric approach works best, where the remaining errors lie, and how performance scales with datastore size. Our results suggest that it is possible to build high quality language models while mitigating their legal risk.