Hacia el Aprendizaje Óptimo de Modelos de Lenguaje

Towards Optimal Learning of Language Models

February 27, 2024

Autores: Yuxian Gu, Li Dong, Yaru Hao, Qingxiu Dong, Minlie Huang, Furu Wei

cs.AI

Resumen

Este trabajo estudia los principios generales para mejorar el aprendizaje de los modelos de lenguaje (LMs), con el objetivo de reducir los pasos de entrenamiento necesarios para alcanzar un rendimiento superior. Específicamente, presentamos una teoría para el aprendizaje óptimo de LMs. Primero, proponemos un objetivo que optimiza el aprendizaje de LMs maximizando la tasa de compresión de datos bajo una visión de "entrenamiento-de-LMs-como-compresión-sin-pérdidas". Luego, derivamos un teorema, denominado Ley de Aprendizaje, para revelar las propiedades de la dinámica en el proceso de aprendizaje óptimo bajo nuestro objetivo. Este teorema es validado experimentalmente en una tarea de clasificación lineal y en una tarea de modelado de lenguaje del mundo real. Finalmente, verificamos empíricamente que el aprendizaje óptimo de LMs surge esencialmente de la mejora de los coeficientes en la ley de escalamiento de LMs, lo que indica un gran potencial y relevancia para diseñar métodos prácticos de aceleración del aprendizaje. Nuestro código está disponible en https://aka.ms/LearningLaw.

English

This work studies the general principles of improving the learning of language models (LMs), which aims at reducing the necessary training steps for achieving superior performance. Specifically, we present a theory for the optimal learning of LMs. We first propose an objective that optimizes LM learning by maximizing the data compression ratio in an "LM-training-as-lossless-compression" view. Then, we derive a theorem, named Learning Law, to reveal the properties of the dynamics in the optimal learning process under our objective. The theorem is then validated by experiments on a linear classification and a real-world language modeling task. Finally, we empirically verify that the optimal learning of LMs essentially stems from the improvement of the coefficients in the scaling law of LMs, indicating great promise and significance for designing practical learning acceleration methods. Our code can be found at https://aka.ms/LearningLaw.