Scaling LLM Pre-training con Curriculum di Vocabolario

Scaling LLM Pre-training with Vocabulary Curriculum

February 25, 2025

Autori: Fangyuan Yu

cs.AI

Abstract

I moderni modelli linguistici si basano su vocabolari statici, fissati prima del preaddestramento, in contrasto con l'acquisizione adattiva del vocabolario osservata nell'apprendimento linguistico umano. Per colmare questa lacuna, introduciamo l'apprendimento del curriculum del vocabolario, un approccio che migliora l'efficienza del preaddestramento con guadagni di scala log-lineare rispetto alla dimensione del vocabolario. Il nostro metodo alterna l'espansione del vocabolario guidata dall'entropia e l'ottimizzazione del modello, consentendo ai modelli di apprendere rappresentazioni trasferibili attraverso diverse granularità di tokenizzazione. Questo approccio dà naturalmente origine a un modello ottimale di allocazione della computazione: i token più lunghi catturano contenuti prevedibili, mentre i token più corti si concentrano su contesti più complessi e difficili da prevedere. Gli esperimenti sui modelli GPT su piccola scala dimostrano un'efficienza di scalabilità migliorata, rafforzando l'efficacia della tokenizzazione dinamica. Rilasciamo il nostro codice per supportare ulteriori ricerche e pianifichiamo di estendere i nostri esperimenti a modelli più grandi e a domini diversi.

English

Modern language models rely on static vocabularies, fixed before pretraining, in contrast to the adaptive vocabulary acquisition observed in human language learning. To bridge this gap, we introduce vocabulary curriculum learning, an approach that improves pretraining efficiency with log-linear scaling gains relative to vocabulary size. Our method alternates between entropy-guided vocabulary expansion and model optimization, enabling models to learn transferable representations across diverse tokenization granularities. This approach naturally gives rise to an optimal computation allocation pattern: longer tokens capture predictable content, while shorter tokens focus on more complex, harder-to-predict contexts. Experiments on small-scale GPT models demonstrate improved scaling efficiency, reinforcing the effectiveness of dynamic tokenization. We release our code to support further research and plan to extend our experiments to larger models and diverse domains.