Когда меньше значит больше: исследование обрезки данных для предварительного обучения крупномасштабных языковых моделей

When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale

September 8, 2023

Авторы: Max Marion, Ahmet Üstün, Luiza Pozzobon, Alex Wang, Marzieh Fadaee, Sara Hooker

cs.AI

Аннотация

Большие объемы текстовых данных значительно способствовали развитию крупных языковых моделей (LLM) в последние годы. Эти данные обычно собираются путем сканирования интернета, что приводит к созданию предобучающих наборов данных, состоящих из зашумленного веб-текста. До сих пор усилия по сокращению этих наборов данных до более качественного подмножества основывались на ручных эвристиках, закодированных в виде правил фильтрации. В данной работе мы рассматриваем более широкий подход и исследуем масштабируемые оценки качества данных, которые могут быть использованы для систематического измерения качества предобучающих данных. Мы проводим масштабное сравнение простого метода оценки качества данных через перплексию, а также более сложных и вычислительно затратных оценок, таких как L2-норма ошибки и запоминание. Эти метрики используются для ранжирования и сокращения предобучающих корпусов, после чего мы сравниваем LLM, обученные на этих сокращенных наборах данных. Удивительно, но мы обнаруживаем, что простой метод перплексии превосходит наши более вычислительно затратные методы оценки. Мы улучшаем результаты по сравнению с базовым подходом без сокращения данных, обучая модели всего на 30% исходного набора данных. Наша работа закладывает основу для неисследованных стратегий автоматического формирования высококачественных корпусов и предполагает, что большая часть предобучающих данных может быть удалена без потери производительности.

English

Large volumes of text data have contributed significantly to the development of large language models (LLMs) in recent years. This data is typically acquired by scraping the internet, leading to pretraining datasets comprised of noisy web text. To date, efforts to prune these datasets down to a higher quality subset have relied on hand-crafted heuristics encoded as rule-based filters. In this work, we take a wider view and explore scalable estimates of data quality that can be used to systematically measure the quality of pretraining data. We perform a rigorous comparison at scale of the simple data quality estimator of perplexity, as well as more sophisticated and computationally intensive estimates of the Error L2-Norm and memorization. These metrics are used to rank and prune pretraining corpora, and we subsequently compare LLMs trained on these pruned datasets. Surprisingly, we find that the simple technique of perplexity outperforms our more computationally expensive scoring methods. We improve over our no-pruning baseline while training on as little as 30% of the original training dataset. Our work sets the foundation for unexplored strategies in automatically curating high quality corpora and suggests the majority of pretraining data can be removed while retaining performance.