Decodificação Direta de Múltiplos Tokens

Resumo

Transformers com apenas decodificadores tornaram-se a arquitetura padrão para grandes modelos de linguagem (LLMs) devido ao seu forte desempenho. Estudos recentes sugerem que, em LLMs pré-treinados, as camadas iniciais, intermediárias e finais podem desempenhar papéis distintos: as camadas iniciais focam na compreensão do contexto de entrada, as camadas intermediárias lidam com o processamento específico da tarefa, e as camadas finais convertem representações abstratas em tokens de saída. Nossa hipótese é que, uma vez que as representações tenham sido processadas pelas camadas iniciais e intermediárias, os estados ocultos resultantes podem encapsular informações suficientes para suportar a geração de múltiplos tokens usando apenas as camadas finais, eliminando a necessidade de percorrer repetidamente as camadas iniciais e intermediárias. Referimo-nos a esse paradigma de inferência como Decodificação Direta de Múltiplos Tokens (DMTD). Diferente da decodificação especulativa, nosso método não introduz parâmetros adicionais, rotinas auxiliares ou verificação pós-geração. Apesar de ter sido treinado em um conjunto de dados limitado, um modelo Qwen3-4B ajustado com DMTD já demonstrou resultados promissores, alcançando até uma aceleração de 2x com apenas uma pequena perda de desempenho. Além disso, como mostrado em nossa análise de escalonamento, espera-se que seu desempenho melhore ainda mais com conjuntos de dados de treinamento maiores.

English

Decoder-only transformers have become the standard architecture for large language models (LLMs) due to their strong performance. Recent studies suggest that, in pre-trained LLMs, early, middle, and late layers may serve distinct roles: Early layers focus on understanding the input context, middle layers handle task-specific processing, and late layers convert abstract representations into output tokens. We hypothesize that once representations have been processed by the early and middle layers, the resulting hidden states may encapsulate sufficient information to support the generation of multiple tokens using only the late layers, eliminating the need to repeatedly traverse the early and middle layers. We refer to this inference paradigm as Direct Multi-Token Decoding (DMTD). Unlike speculative decoding, our method introduces no additional parameters, auxiliary routines, or post-generation verification. Despite being trained on a limited dataset, a fine-tuned DMTD Qwen3-4B model has already demonstrated promising results, achieving up to a 2x speedup with only minor performance loss. Moreover, as shown in our scaling analysis, its performance is expected to further improve with larger training datasets.