LK-verliezen: Directe Acceptatiegraadoptimalisatie voor Speculatief Decoderen
LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding
February 27, 2026
Auteurs: Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp Fisin, Alexander Golubev
cs.AI
Samenvatting
Speculatieve decodering versnelt de inferentie van autoregressieve grote taalmmodellen (LLM's) door een lichtgewicht draft-model te gebruiken om kandidaat-tokens voor te stellen, die vervolgens parallel worden geverifieerd door het doelmodel. De snelheidswinst wordt in belangrijke mate bepaald door de acceptatiegraad, maar standaardtraining minimaliseert de Kullback-Leibler-divergentie (KL) als een proxy-doelstelling. Hoewel KL-divergentie en acceptatiegraad hetzelfde globale optimum delen, convergeren kleine draft-modellen, met hun beperkte capaciteit, typisch naar suboptimale oplossingen waarbij het minimaliseren van de KL-divergentie niet garandeert dat de acceptatiegraad wordt gemaximaliseerd. Om dit probleem aan te pakken, stellen wij LK-verliesfuncties voor, speciale trainingsdoelstellingen die rechtstreeks op de acceptatiegraad zijn gericht. Uitgebreide experimenten met vier draft-architecturen en zes doelmodellen, variërend van 8B tot 685B parameters, tonen consistente verbeteringen in acceptatiemetrics voor alle configuraties in vergelijking met de standaard KL-gebaseerde training. Wij evalueren onze aanpak voor algemene, programmeer- en wiskundedomeinen en rapporteren winsten tot 8-10% in gemiddelde acceptatielengte. LK-verliesfuncties zijn eenvoudig te implementeren, introduceren geen computationele overhead en kunnen direct worden geïntegreerd in elk bestaand speculator-trainingsframework, waardoor ze een overtuigend alternatief vormen voor de bestaande draft-trainingsdoelstellingen.
English
Speculative decoding accelerates autoregressive large language model (LLM) inference by using a lightweight draft model to propose candidate tokens that are then verified in parallel by the target model. The speedup is significantly determined by the acceptance rate, yet standard training minimizes Kullback-Leibler (KL) divergence as a proxy objective. While KL divergence and acceptance rate share the same global optimum, small draft models, having limited capacity, typically converge to suboptimal solutions where minimizing KL does not guarantee maximizing acceptance rate. To address this issue, we propose LK losses, special training objectives that directly target acceptance rate. Comprehensive experiments across four draft architectures and six target models, ranging from 8B to 685B parameters, demonstrate consistent improvements in acceptance metrics across all configurations compared to the standard KL-based training. We evaluate our approach on general, coding and math domains and report gains of up to 8-10% in average acceptance length. LK losses are easy to implement, introduce no computational overhead and can be directly integrated into any existing speculator training framework, making them a compelling alternative to the existing draft training objectives.