К оптимальному обучению языковых моделей

Towards Optimal Learning of Language Models

February 27, 2024

Авторы: Yuxian Gu, Li Dong, Yaru Hao, Qingxiu Dong, Minlie Huang, Furu Wei

cs.AI

Аннотация

Данная работа исследует общие принципы улучшения обучения языковых моделей (ЯМ), направленные на сокращение необходимых шагов обучения для достижения превосходной производительности. В частности, мы представляем теорию оптимального обучения ЯМ. Сначала мы предлагаем целевую функцию, которая оптимизирует обучение ЯМ путем максимизации коэффициента сжатия данных в рамках подхода "обучение ЯМ как сжатие без потерь". Затем мы выводим теорему, названную Законом Обучения, чтобы раскрыть свойства динамики в процессе оптимального обучения в рамках нашей целевой функции. Теорема подтверждается экспериментами на задаче линейной классификации и реальной задаче языкового моделирования. Наконец, мы эмпирически подтверждаем, что оптимальное обучение ЯМ по сути связано с улучшением коэффициентов в законе масштабирования ЯМ, что указывает на значительный потенциал и важность для разработки практических методов ускорения обучения. Наш код доступен по ссылке: https://aka.ms/LearningLaw.

English

This work studies the general principles of improving the learning of language models (LMs), which aims at reducing the necessary training steps for achieving superior performance. Specifically, we present a theory for the optimal learning of LMs. We first propose an objective that optimizes LM learning by maximizing the data compression ratio in an "LM-training-as-lossless-compression" view. Then, we derive a theorem, named Learning Law, to reveal the properties of the dynamics in the optimal learning process under our objective. The theorem is then validated by experiments on a linear classification and a real-world language modeling task. Finally, we empirically verify that the optimal learning of LMs essentially stems from the improvement of the coefficients in the scaling law of LMs, indicating great promise and significance for designing practical learning acceleration methods. Our code can be found at https://aka.ms/LearningLaw.