HARE: Priores Humanos, a chave para a Eficiência de Modelos de Linguagem Pequenos

HARE: HumAn pRiors, a key to small language model Efficiency

June 17, 2024

Autores: Lingyun Zhang, Bin jin, Gaojian Ge, Lunhui Liu, Xuewen Shen, Mingyong Wu, Houqian Zhang, Yongneng Jiang, Shiqi Chen, Shi Pu

cs.AI

Resumo

Os conhecimentos prévios humanos desempenham um papel crucial na utilização eficiente de dados no aprendizado profundo. No entanto, com o desenvolvimento de modelos de linguagem de grande escala (LLMs), há uma ênfase crescente na escalabilidade tanto do tamanho do modelo quanto do volume de dados, o que frequentemente diminui a importância dos conhecimentos prévios humanos na construção de dados. Influenciados por essas tendências, os modelos de linguagem de pequena escala (SLMs) existentes dependem principalmente de grandes volumes de dados de treinamento obtidos da web, negligenciando a incorporação adequada dos conhecimentos prévios humanos. Essa omissão limita a eficiência do treinamento de modelos de linguagem em ambientes com recursos limitados. Neste artigo, propomos um princípio para aproveitar os conhecimentos prévios humanos na construção de dados. Esse princípio enfatiza a obtenção de SLMs de alto desempenho por meio do treinamento em um conjunto de dados conciso que acomoda tanto a diversidade semântica quanto a consistência na qualidade dos dados, evitando o vazamento de dados de benchmark. Seguindo esse princípio, treinamos um SLM chamado HARE-1.1B. Experimentos extensos em grandes conjuntos de dados de benchmark demonstram que o HARE-1.1B tem um desempenho favorável em comparação com os SLMs mais avançados, validando a eficácia do princípio proposto. Além disso, isso fornece novas perspectivas sobre o treinamento eficiente de modelos de linguagem em ambientes com recursos limitados, sob a ótica dos conhecimentos prévios humanos.

English

Human priors play a crucial role in efficiently utilizing data in deep learning. However, with the development of large language models (LLMs), there is an increasing emphasis on scaling both model size and data volume, which often diminishes the importance of human priors in data construction. Influenced by these trends, existing Small Language Models (SLMs) mainly rely on web-scraped large-scale training data, neglecting the proper incorporation of human priors. This oversight limits the training efficiency of language models in resource-constrained settings. In this paper, we propose a principle to leverage human priors for data construction. This principle emphasizes achieving high-performance SLMs by training on a concise dataset that accommodates both semantic diversity and data quality consistency, while avoiding benchmark data leakage. Following this principle, we train an SLM named HARE-1.1B. Extensive experiments on large-scale benchmark datasets demonstrate that HARE-1.1B performs favorably against state-of-the-art SLMs, validating the effectiveness of the proposed principle. Additionally, this provides new insights into efficient language model training in resource-constrained environments from the view of human priors.