Prédire l'ordre des tokens à venir améliore la modélisation du langage.

Predicting the Order of Upcoming Tokens Improves Language Modeling

August 26, 2025

papers.authors: Zayd M. K. Zuhri, Erland Hilman Fuadi, Alham Fikri Aji

cs.AI

papers.abstract

La prédiction multi-tokens (Multi-Token Prediction, MTP) a été proposée comme objectif auxiliaire pour améliorer la prédiction du prochain token (Next-Token Prediction, NTP) dans l'entraînement des modèles de langage, mais elle montre des améliorations incohérentes et sous-performe dans les benchmarks standards du traitement du langage naturel (NLP). Nous soutenons que la prédiction exacte des tokens futurs dans MTP est trop difficile comme fonction de perte auxiliaire. À la place, nous proposons la prédiction de l'ordre des tokens (Token Order Prediction, TOP), qui entraîne les modèles à ordonner les tokens à venir en fonction de leur proximité en utilisant une fonction de perte d'apprentissage par classement. TOP nécessite seulement une couche de dé-embedding supplémentaire par rapport aux multiples couches de transformateur de MTP. Nous avons pré-entraîné des modèles de 340M, 1,8B et 7B de paramètres en utilisant les objectifs NTP, MTP et TOP. Les résultats sur huit benchmarks standards de NLP montrent que TOP surpasse globalement à la fois NTP et MTP, même à grande échelle. Notre code est disponible à l'adresse suivante : https://github.com/zaydzuhri/token-order-prediction.

English

Multi-Token Prediction (MTP) has been proposed as an auxiliary objective to improve next-token prediction (NTP) in language model training but shows inconsistent improvements, underperforming in standard NLP benchmarks. We argue that MTP's exact future token prediction is too difficult as an auxiliary loss. Instead, we propose Token Order Prediction (TOP), which trains models to order upcoming tokens by their proximity using a learning-to-rank loss. TOP requires only a single additional unembedding layer compared to MTP's multiple transformer layers. We pretrain models of 340M, 1.8B, and 7B parameters using NTP, MTP, and TOP objectives. Results on eight standard NLP benchmarks show that TOP overall outperforms both NTP and MTP even at scale. Our code is available at https://github.com/zaydzuhri/token-order-prediction