VIA-SD : Vérification par routage intra-modèle pour le décodage spéculatif

Résumé

Le décodage spéculatif (DS) répond aux coûts d'inférence élevés des LLM en permettant à des modèles légers de générer des candidats que de grands vérificateurs valident en parallèle. Les méthodes existantes de vérification par ébauche utilisent des décisions binaires : accepter ou recalculer entièrement. Cependant, nous constatons que de nombreux tokens rejetés peuvent être vérifiés correctement par un sous-modèle allégé dérivé du vérificateur complet via un routage intra-modèle, plutôt que par le vérificateur complet. Cela motive notre vérificateur allégé pour traiter les tokens nécessitant des ressources de vérification modérées, réduisant ainsi les coûteux appels au grand modèle. Nous proposons VIA-SD (Verification via Intra-Model Routing for Speculative Decoding), un cadre multi-niveaux utilisant un vérificateur allégé routé. Les tokens de l'ébauche sont traités hiérarchiquement : acceptation directe pour les cas à haute confiance, régénération par le vérificateur allégé pour les cas à confiance moyenne, et vérification par le modèle complet pour les cas incertains. Sur quatre tâches représentatives et plusieurs familles de modèles, VIA-SD réduit les taux de rejet de 0,10 à 0,22 et offre des accélérations de 10 à 20 % par rapport aux bases de DS solides, tout en atteignant une accélération de 2,5 à 3 fois par rapport au décodage sans ébauche. De plus, VIA-SD est compatible avec les cadres DS existants sans modifier leurs procédures d'entraînement. Nos résultats suggèrent que le DS multi-niveaux constitue un paradigme général pour une inférence LLM évolutive et efficace. Page du projet : https://zju-xyc.github.io/VIA-SD-Project-Page/

English

Speculative decoding (SD) addresses the high inference costs of LLMs by having lightweight drafters generate candidates for large verifiers to validate in parallel. Existing draft-verify methods use binary decisions: accept or fully recompute. Yet we find that many rejected tokens can be verified correctly by a slim submodel derived from the full verifier via intra-model routing, instead of the full verifier. This motivates our slim-verifier to handle tokens requiring moderate verification resources, reducing expensive large-model calls. We propose Verification via Intra-Model Routing for Speculative Decoding (VIA-SD), a multi-tier framework using a routed slim-verifier. Draft tokens are processed hierarchically: direct acceptance for high-confidence cases, slim-verifier regeneration for medium-confidence cases, and full-model verification for uncertain cases. Across four representative tasks and multiple model families, VIA-SD reduces rejection rates by 0.10-0.22 and delivers 10-20% speedups over strong SD baselines, while achieving 2.5-3x acceleration over non-drafting decoding. Moreover, VIA-SD is compatible with existing SD frameworks without modifying their training procedures. Our results suggest multi-tier SD as a general paradigm for scalable and efficient LLM inference. Project page: https://zju-xyc.github.io/VIA-SD-Project-Page/