Décodage Direct Multi-Jetons

papers.abstract

Les transformers à décodeur uniquement sont devenus l'architecture standard pour les grands modèles de langage (LLM) en raison de leurs performances élevées. Des études récentes suggèrent que, dans les LLM pré-entraînés, les couches précoces, intermédiaires et tardives pourraient jouer des rôles distincts : les couches précoces se concentrent sur la compréhension du contexte d'entrée, les couches intermédiaires gèrent le traitement spécifique à la tâche, et les couches tardives convertissent les représentations abstraites en tokens de sortie. Nous émettons l'hypothèse qu'une fois que les représentations ont été traitées par les couches précoces et intermédiaires, les états cachés résultants pourraient encapsuler suffisamment d'informations pour supporter la génération de plusieurs tokens en utilisant uniquement les couches tardives, éliminant ainsi la nécessité de parcourir à plusieurs reprises les couches précoces et intermédiaires. Nous désignons ce paradigme d'inférence par le terme de Décodage Direct Multi-Token (DMTD). Contrairement au décodage spéculatif, notre méthode n'introduit aucun paramètre supplémentaire, routine auxiliaire ou vérification post-génération. Bien qu'entraîné sur un ensemble de données limité, un modèle Qwen3-4B affiné avec DMTD a déjà montré des résultats prometteurs, atteignant jusqu'à un doublement de la vitesse avec seulement une légère perte de performance. De plus, comme le montre notre analyse de mise à l'échelle, ses performances devraient encore s'améliorer avec des ensembles de données d'entraînement plus vastes.

English

Decoder-only transformers have become the standard architecture for large language models (LLMs) due to their strong performance. Recent studies suggest that, in pre-trained LLMs, early, middle, and late layers may serve distinct roles: Early layers focus on understanding the input context, middle layers handle task-specific processing, and late layers convert abstract representations into output tokens. We hypothesize that once representations have been processed by the early and middle layers, the resulting hidden states may encapsulate sufficient information to support the generation of multiple tokens using only the late layers, eliminating the need to repeatedly traverse the early and middle layers. We refer to this inference paradigm as Direct Multi-Token Decoding (DMTD). Unlike speculative decoding, our method introduces no additional parameters, auxiliary routines, or post-generation verification. Despite being trained on a limited dataset, a fine-tuned DMTD Qwen3-4B model has already demonstrated promising results, achieving up to a 2x speedup with only minor performance loss. Moreover, as shown in our scaling analysis, its performance is expected to further improve with larger training datasets.