Het schalen van LLM-pre-training met een vocabulaire-curriculum

Scaling LLM Pre-training with Vocabulary Curriculum

February 25, 2025

Auteurs: Fangyuan Yu

cs.AI

Samenvatting

Moderne taalmodellen vertrouwen op statische vocabulaire, die vastgesteld worden voorafgaand aan het vooraf trainen, in tegenstelling tot de adaptieve woordenschatverwerving die wordt waargenomen bij menselijke taalverwerving. Om deze kloof te overbruggen, introduceren we vocabulaire curriculumleren, een aanpak die de efficiëntie van het vooraf trainen verbetert met log-lineaire schaalwinsten ten opzichte van de vocabulairegrootte. Onze methode wisselt af tussen entropie-gestuurde vocabulaire-uitbreiding en modeloptimalisatie, waardoor modellen overdraagbare representaties kunnen leren over diverse tokenisatiegranulariteiten heen. Deze aanpak leidt van nature tot een optimaal patroon voor computationele toewijzing: langere tokens vangen voorspelbare inhoud op, terwijl kortere tokens zich richten op complexere, moeilijker te voorspellen contexten. Experimenten met kleinschalige GPT-modellen tonen verbeterde schaalefficiëntie aan, wat de effectiviteit van dynamische tokenisatie onderstreept. We stellen onze code beschikbaar om verder onderzoek te ondersteunen en zijn van plan onze experimenten uit te breiden naar grotere modellen en diverse domeinen.

English

Modern language models rely on static vocabularies, fixed before pretraining, in contrast to the adaptive vocabulary acquisition observed in human language learning. To bridge this gap, we introduce vocabulary curriculum learning, an approach that improves pretraining efficiency with log-linear scaling gains relative to vocabulary size. Our method alternates between entropy-guided vocabulary expansion and model optimization, enabling models to learn transferable representations across diverse tokenization granularities. This approach naturally gives rise to an optimal computation allocation pattern: longer tokens capture predictable content, while shorter tokens focus on more complex, harder-to-predict contexts. Experiments on small-scale GPT models demonstrate improved scaling efficiency, reinforcing the effectiveness of dynamic tokenization. We release our code to support further research and plan to extend our experiments to larger models and diverse domains.