Decodifica Diretta Multi-Token

Abstract

I transformer con solo decoder sono diventati l'architettura standard per i grandi modelli linguistici (LLM) grazie alle loro prestazioni elevate. Studi recenti suggeriscono che, nei LLM pre-addestrati, i livelli iniziali, intermedi e finali possano svolgere ruoli distinti: i livelli iniziali si concentrano sulla comprensione del contesto di input, i livelli intermedi gestiscono l'elaborazione specifica del compito e i livelli finali convertono le rappresentazioni astratte in token di output. Ipotesizziamo che, una volta che le rappresentazioni sono state elaborate dai livelli iniziali e intermedi, gli stati nascosti risultanti possano racchiudere informazioni sufficienti per supportare la generazione di più token utilizzando solo i livelli finali, eliminando la necessità di attraversare ripetutamente i livelli iniziali e intermedi. Definiamo questo paradigma di inferenza come Decodifica Diretta Multi-Token (DMTD). A differenza della decodifica speculativa, il nostro metodo non introduce parametri aggiuntivi, routine ausiliarie o verifiche post-generazione. Nonostante sia stato addestrato su un dataset limitato, un modello Qwen3-4B fine-tuned con DMTD ha già dimostrato risultati promettenti, raggiungendo un incremento di velocità fino a 2x con solo una minima perdita di prestazioni. Inoltre, come mostrato nella nostra analisi di scalabilità, ci si aspetta che le sue prestazioni migliorino ulteriormente con dataset di addestramento più ampi.

English

Decoder-only transformers have become the standard architecture for large language models (LLMs) due to their strong performance. Recent studies suggest that, in pre-trained LLMs, early, middle, and late layers may serve distinct roles: Early layers focus on understanding the input context, middle layers handle task-specific processing, and late layers convert abstract representations into output tokens. We hypothesize that once representations have been processed by the early and middle layers, the resulting hidden states may encapsulate sufficient information to support the generation of multiple tokens using only the late layers, eliminating the need to repeatedly traverse the early and middle layers. We refer to this inference paradigm as Direct Multi-Token Decoding (DMTD). Unlike speculative decoding, our method introduces no additional parameters, auxiliary routines, or post-generation verification. Despite being trained on a limited dataset, a fine-tuned DMTD Qwen3-4B model has already demonstrated promising results, achieving up to a 2x speedup with only minor performance loss. Moreover, as shown in our scaling analysis, its performance is expected to further improve with larger training datasets.