Escalando el Pre-entrenamiento de Modelos de Lenguaje con Currículo de Vocabulario

Scaling LLM Pre-training with Vocabulary Curriculum

February 25, 2025

Autores: Fangyuan Yu

cs.AI

Resumen

Los modelos de lenguaje modernos dependen de vocabularios estáticos, fijados antes del preentrenamiento, en contraste con la adquisición adaptativa de vocabulario observada en el aprendizaje del lenguaje humano. Para cerrar esta brecha, presentamos el aprendizaje curricular de vocabulario, un enfoque que mejora la eficiencia del preentrenamiento con ganancias de escalado log-lineal en relación con el tamaño del vocabulario. Nuestro método alterna entre la expansión de vocabulario guiada por entropía y la optimización del modelo, permitiendo que los modelos aprendan representaciones transferibles a través de diversas granularidades de tokenización. Este enfoque da lugar de manera natural a un patrón óptimo de asignación de cómputo: los tokens más largos capturan contenido predecible, mientras que los tokens más cortos se enfocan en contextos más complejos y difíciles de predecir. Los experimentos en modelos GPT a pequeña escala demuestran una mejora en la eficiencia de escalado, reforzando la efectividad de la tokenización dinámica. Publicamos nuestro código para apoyar investigaciones futuras y planeamos extender nuestros experimentos a modelos más grandes y diversos dominios.

English

Modern language models rely on static vocabularies, fixed before pretraining, in contrast to the adaptive vocabulary acquisition observed in human language learning. To bridge this gap, we introduce vocabulary curriculum learning, an approach that improves pretraining efficiency with log-linear scaling gains relative to vocabulary size. Our method alternates between entropy-guided vocabulary expansion and model optimization, enabling models to learn transferable representations across diverse tokenization granularities. This approach naturally gives rise to an optimal computation allocation pattern: longer tokens capture predictable content, while shorter tokens focus on more complex, harder-to-predict contexts. Experiments on small-scale GPT models demonstrate improved scaling efficiency, reinforcing the effectiveness of dynamic tokenization. We release our code to support further research and plan to extend our experiments to larger models and diverse domains.