Naar een optimaal leerproces van taalmodelle

Towards Optimal Learning of Language Models

February 27, 2024

Auteurs: Yuxian Gu, Li Dong, Yaru Hao, Qingxiu Dong, Minlie Huang, Furu Wei

cs.AI

Samenvatting

Dit werk onderzoekt de algemene principes voor het verbeteren van het leerproces van taalmodelen (LMs), met als doel het verminderen van de benodigde trainingsstappen om superieure prestaties te bereiken. Specifiek presenteren we een theorie voor het optimale leren van LMs. We stellen eerst een doelstelling voor die het leren van LMs optimaliseert door de datacompressieratio te maximaliseren in een "LM-training-als-verliesloze-compressie"-benadering. Vervolgens leiden we een stelling af, genaamd de Leerwet, om de eigenschappen van de dynamiek in het optimale leerproces onder onze doelstelling te onthullen. De stelling wordt vervolgens gevalideerd door experimenten op een lineaire classificatie en een realistische taalmodelleertaak. Ten slotte verifiëren we empirisch dat het optimale leren van LMs in essentie voortkomt uit de verbetering van de coëfficiënten in de schaalwet van LMs, wat grote belofte en betekenis aangeeft voor het ontwerpen van praktische methoden voor leeracceleratie. Onze code is te vinden op https://aka.ms/LearningLaw.

English

This work studies the general principles of improving the learning of language models (LMs), which aims at reducing the necessary training steps for achieving superior performance. Specifically, we present a theory for the optimal learning of LMs. We first propose an objective that optimizes LM learning by maximizing the data compression ratio in an "LM-training-as-lossless-compression" view. Then, we derive a theorem, named Learning Law, to reveal the properties of the dynamics in the optimal learning process under our objective. The theorem is then validated by experiments on a linear classification and a real-world language modeling task. Finally, we empirically verify that the optimal learning of LMs essentially stems from the improvement of the coefficients in the scaling law of LMs, indicating great promise and significance for designing practical learning acceleration methods. Our code can be found at https://aka.ms/LearningLaw.