Prever a ordem dos próximos tokens melhora a modelagem de linguagem
Predicting the Order of Upcoming Tokens Improves Language Modeling
August 26, 2025
Autores: Zayd M. K. Zuhri, Erland Hilman Fuadi, Alham Fikri Aji
cs.AI
Resumo
A Previsão de Múltiplos Tokens (MTP) foi proposta como um objetivo auxiliar para melhorar a previsão do próximo token (NTP) no treinamento de modelos de linguagem, mas apresenta melhorias inconsistentes, com desempenho inferior em benchmarks padrão de NLP. Argumentamos que a previsão exata de tokens futuros do MTP é muito difícil como uma função de perda auxiliar. Em vez disso, propomos a Previsão de Ordenação de Tokens (TOP), que treina modelos para ordenar tokens futuros por sua proximidade usando uma função de perda de aprendizado para ranqueamento. O TOP requer apenas uma camada adicional de desembutimento em comparação com as múltiplas camadas de transformadores do MTP. Pré-treinamos modelos de 340M, 1,8B e 7B de parâmetros usando os objetivos NTP, MTP e TOP. Os resultados em oito benchmarks padrão de NLP mostram que o TOP supera tanto o NTP quanto o MTP, mesmo em escala. Nosso código está disponível em https://github.com/zaydzuhri/token-order-prediction.
English
Multi-Token Prediction (MTP) has been proposed as an auxiliary objective to
improve next-token prediction (NTP) in language model training but shows
inconsistent improvements, underperforming in standard NLP benchmarks. We argue
that MTP's exact future token prediction is too difficult as an auxiliary loss.
Instead, we propose Token Order Prediction (TOP), which trains models to order
upcoming tokens by their proximity using a learning-to-rank loss. TOP requires
only a single additional unembedding layer compared to MTP's multiple
transformer layers. We pretrain models of 340M, 1.8B, and 7B parameters using
NTP, MTP, and TOP objectives. Results on eight standard NLP benchmarks show
that TOP overall outperforms both NTP and MTP even at scale. Our code is
available at https://github.com/zaydzuhri/token-order-prediction