За пределами масштаба: коэффициент разнообразия как метрика качества данных Демонстрирует, что языковые модели обучаются на формально разнообразных данных
Beyond Scale: the Diversity Coefficient as a Data Quality Metric Demonstrates LLMs are Pre-trained on Formally Diverse Data
June 24, 2023
Авторы: Alycia Lee, Brando Miranda, Sanmi Koyejo
cs.AI
Аннотация
Современные тенденции предварительного обучения мощных больших языковых моделей (LLM) в основном сосредоточены на масштабировании размеров моделей и наборов данных. Однако качество данных для предварительного обучения является важным фактором для создания эффективных LLM, но это расплывчатое понятие, которое до сих пор не было полностью охарактеризовано. Поэтому мы используем недавно предложенный коэффициент разнообразия Task2Vec, чтобы обосновать и понять формальные аспекты качества данных, выходящие за рамки простого масштабирования. В частности, мы измеряем коэффициент разнообразия общедоступных наборов данных для предварительного обучения, чтобы показать, что их формальное разнообразие велико по сравнению с теоретическими нижними и верхними границами. Кроме того, чтобы укрепить доверие к коэффициенту разнообразия, мы проводим эксперименты по интерпретируемости и обнаруживаем, что коэффициент согласуется с интуитивными свойствами разнообразия, например, он увеличивается с ростом числа латентных концепций. Мы заключаем, что коэффициент разнообразия является надежным, показываем его высокие значения для общедоступных наборов данных LLM и предполагаем, что его можно использовать для создания полезных разнообразных наборов данных для LLM.
English
Current trends to pre-train capable Large Language Models (LLMs) mostly focus
on scaling of model and dataset size. However, the quality of pre-training data
is an important factor for training powerful LLMs, yet it is a nebulous concept
that has not been fully characterized. Therefore, we use the recently proposed
Task2Vec diversity coefficient to ground and understand formal aspects of data
quality, to go beyond scale alone. Specifically, we measure the diversity
coefficient of publicly available pre-training datasets to demonstrate that
their formal diversity is high when compared to theoretical lower and upper
bounds. In addition, to build confidence in the diversity coefficient, we
conduct interpretability experiments and find that the coefficient aligns with
intuitive properties of diversity, e.g., it increases as the number of latent
concepts increases. We conclude the diversity coefficient is reliable, show
it's high for publicly available LLM datasets, and conjecture it can be used to
build useful diverse datasets for LLMs.