SlimSpec : Tête de LM de brouillon de bas rang pour l'accélération du décodage spéculatif

Résumé

Le décodage spéculatif accélère la génération autorégressive dans les modèles de langage de grande taille (LLMs) grâce à une procédure en deux étapes, où un modèle ébauche léger propose des tokens que le modèle cible vérifie ensuite en un seul passage avant. Bien que le réseau ébauche soit de petite taille dans les architectures modernes, sa tête de modèle de langage (LM-head) effectue toujours une projection vers un vaste vocabulaire, ce qui en fait l’un des principaux goulots d’étranglement computationnels. Dans les travaux antérieurs, ce problème a été principalement traité par une troncature statique ou dynamique du vocabulaire. Bien qu’elles atténuent le goulot d’étranglement, ces méthodes introduisent une complexité supplémentaire, telle qu’une curation spéciale du vocabulaire, une logique sophistiquée en phase d’inférence ou des modifications de la configuration d’entraînement. Dans cet article, nous proposons SlimSpec, une paramétrisation de faible rang de la tête LM du modèle ébauche qui comprime la représentation interne plutôt que la sortie, préservant ainsi un support complet du vocabulaire. Nous évaluons notre méthode avec le modèle ébauche EAGLE-3 sur trois modèles cibles et divers benchmarks, à la fois dans des régimes d’inférence limités par la latence et par le débit. SlimSpec atteint une accélération de 4 à 5 fois par rapport à l’architecture standard de tête LM, tout en maintenant une longueur d’acceptation compétitive, surpassant les méthodes existantes d’une accélération de bout en bout allant jusqu’à 8 à 9 %. Notre méthode ne nécessite que des ajustements minimes des pipelines d’entraînement et d’inférence. Combinée aux améliorations de vitesse susmentionnées, SlimSpec constitue une alternative solide pour une grande variété d’architectures de tête LM d’ébauche.

English

Speculative decoding speeds up autoregressive generation in Large Language Models (LLMs) through a two-step procedure, where a lightweight draft model proposes tokens which the target model then verifies in a single forward pass. Although the drafter network is small in modern architectures, its LM-head still performs projection to a large vocabulary, becoming one of the major computational bottlenecks. In prior work this issue has been predominantly addressed via static or dynamic vocabulary truncation. Yet mitigating the bottleneck, these methods bring in extra complexity, such as special vocabulary curation, sophisticated inference-time logic or modifications of the training setup. In this paper, we propose SlimSpec, a low-rank parameterization of the drafter's LM-head that compresses the inner representation rather than the output, preserving full vocabulary support. We evaluate our method with EAGLE-3 drafter across three target models and diverse benchmarks in both latency- and throughput-bound inference regimes. SlimSpec achieves 4-5times acceleration over the standard LM-head architecture while maintaining a competitive acceptance length, surpassing existing methods by up to 8-9% of the end-to-end speedup. Our method requires minimal adjustments of training and inference pipelines. Combined with the aforementioned speedup improvements, it makes SlimSpec a strong alternative across wide variety of draft LM-head architectures.