Escalonamento do Pré-treinamento de LLM com Currículo de Vocabulário

Scaling LLM Pre-training with Vocabulary Curriculum

February 25, 2025

Autores: Fangyuan Yu

cs.AI

Resumo

Modelos de linguagem modernos dependem de vocabulários estáticos, definidos antes do pré-treinamento, em contraste com a aquisição adaptativa de vocabulário observada no aprendizado de linguagem humana. Para preencher essa lacuna, introduzimos o aprendizado de currículo de vocabulário, uma abordagem que melhora a eficiência do pré-treinamento com ganhos de escala log-linear em relação ao tamanho do vocabulário. Nosso método alterna entre a expansão de vocabulário guiada por entropia e a otimização do modelo, permitindo que os modelos aprendam representações transferíveis em diversas granularidades de tokenização. Essa abordagem naturalmente dá origem a um padrão ótimo de alocação de computação: tokens mais longos capturam conteúdo previsível, enquanto tokens mais curtos se concentram em contextos mais complexos e difíceis de prever. Experimentos com modelos GPT em pequena escala demonstram uma eficiência de escala aprimorada, reforçando a eficácia da tokenização dinâmica. Disponibilizamos nosso código para apoiar pesquisas futuras e planejamos estender nossos experimentos para modelos maiores e diversos domínios.

English

Modern language models rely on static vocabularies, fixed before pretraining, in contrast to the adaptive vocabulary acquisition observed in human language learning. To bridge this gap, we introduce vocabulary curriculum learning, an approach that improves pretraining efficiency with log-linear scaling gains relative to vocabulary size. Our method alternates between entropy-guided vocabulary expansion and model optimization, enabling models to learn transferable representations across diverse tokenization granularities. This approach naturally gives rise to an optimal computation allocation pattern: longer tokens capture predictable content, while shorter tokens focus on more complex, harder-to-predict contexts. Experiments on small-scale GPT models demonstrate improved scaling efficiency, reinforcing the effectiveness of dynamic tokenization. We release our code to support further research and plan to extend our experiments to larger models and diverse domains.