Além da Escala: o Coeficiente de Diversidade como Métrica de Qualidade de Dados Demonstra que Modelos de Linguagem de Grande Escala são Pré-treinados em Dados Formalmente Diversos

Beyond Scale: the Diversity Coefficient as a Data Quality Metric Demonstrates LLMs are Pre-trained on Formally Diverse Data

June 24, 2023

Autores: Alycia Lee, Brando Miranda, Sanmi Koyejo

cs.AI

Resumo

As tendências atuais para pré-treinar modelos de linguagem de grande escala (LLMs, na sigla em inglês) capacitados concentram-se principalmente na escalabilidade do tamanho do modelo e do conjunto de dados. No entanto, a qualidade dos dados de pré-treinamento é um fator importante para treinar LLMs poderosos, embora seja um conceito nebuloso que ainda não foi totalmente caracterizado. Portanto, utilizamos o coeficiente de diversidade Task2Vec, proposto recentemente, para fundamentar e compreender aspectos formais da qualidade dos dados, indo além da escala por si só. Especificamente, medimos o coeficiente de diversidade de conjuntos de dados de pré-treinamento publicamente disponíveis para demonstrar que sua diversidade formal é alta quando comparada aos limites teóricos inferiores e superiores. Além disso, para aumentar a confiança no coeficiente de diversidade, realizamos experimentos de interpretabilidade e descobrimos que o coeficiente está alinhado com propriedades intuitivas da diversidade, por exemplo, ele aumenta à medida que o número de conceitos latentes cresce. Concluímos que o coeficiente de diversidade é confiável, mostramos que ele é alto para conjuntos de dados de LLMs disponíveis publicamente e conjecturamos que ele pode ser usado para construir conjuntos de dados diversos e úteis para LLMs.

English

Current trends to pre-train capable Large Language Models (LLMs) mostly focus on scaling of model and dataset size. However, the quality of pre-training data is an important factor for training powerful LLMs, yet it is a nebulous concept that has not been fully characterized. Therefore, we use the recently proposed Task2Vec diversity coefficient to ground and understand formal aspects of data quality, to go beyond scale alone. Specifically, we measure the diversity coefficient of publicly available pre-training datasets to demonstrate that their formal diversity is high when compared to theoretical lower and upper bounds. In addition, to build confidence in the diversity coefficient, we conduct interpretability experiments and find that the coefficient aligns with intuitive properties of diversity, e.g., it increases as the number of latent concepts increases. We conclude the diversity coefficient is reliable, show it's high for publicly available LLM datasets, and conjecture it can be used to build useful diverse datasets for LLMs.