Rumo ao Aprendizado Ótimo de Modelos de Linguagem

Towards Optimal Learning of Language Models

February 27, 2024

Autores: Yuxian Gu, Li Dong, Yaru Hao, Qingxiu Dong, Minlie Huang, Furu Wei

cs.AI

Resumo

Este trabalho estuda os princípios gerais para melhorar o aprendizado de modelos de linguagem (LMs), com o objetivo de reduzir as etapas de treinamento necessárias para alcançar um desempenho superior. Especificamente, apresentamos uma teoria para o aprendizado ótimo de LMs. Primeiro, propomos um objetivo que otimiza o aprendizado de LMs maximizando a taxa de compressão de dados em uma visão de "treinamento-de-LM-como-compressão-sem-perdas". Em seguida, derivamos um teorema, denominado Lei de Aprendizado, para revelar as propriedades da dinâmica no processo de aprendizado ótimo sob nosso objetivo. O teorema é então validado por experimentos em uma classificação linear e uma tarefa de modelagem de linguagem do mundo real. Por fim, verificamos empiricamente que o aprendizado ótimo de LMs essencialmente decorre da melhoria dos coeficientes na lei de escala dos LMs, indicando grande potencial e significância para o design de métodos práticos de aceleração de aprendizado. Nosso código pode ser encontrado em https://aka.ms/LearningLaw.

English

This work studies the general principles of improving the learning of language models (LMs), which aims at reducing the necessary training steps for achieving superior performance. Specifically, we present a theory for the optimal learning of LMs. We first propose an objective that optimizes LM learning by maximizing the data compression ratio in an "LM-training-as-lossless-compression" view. Then, we derive a theorem, named Learning Law, to reveal the properties of the dynamics in the optimal learning process under our objective. The theorem is then validated by experiments on a linear classification and a real-world language modeling task. Finally, we empirically verify that the optimal learning of LMs essentially stems from the improvement of the coefficients in the scaling law of LMs, indicating great promise and significance for designing practical learning acceleration methods. Our code can be found at https://aka.ms/LearningLaw.