LK-Verluste: Direkte Optimierung der Akzeptanzrate für spekulatives Decodieren

LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding

February 27, 2026

Autoren: Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp Fisin, Alexander Golubev

cs.AI

Zusammenfassung

Spekulatives Decoding beschleunigt die autoregressive Inferenz großer Sprachmodelle (LLM), indem ein leichtgewichtiges Draft-Modell Kandidaten-Tokens vorschlägt, die dann parallel vom Zielmodell verifiziert werden. Die Beschleunigung wird maßgeblich von der Akzeptanzrate bestimmt, doch das Standardtraining minimiert die Kullback-Leibler-Divergenz (KL-Divergenz) als Stellvertreterziel. Obwohl KL-Divergenz und Akzeptanzrate das gleiche globale Optimum teilen, konvergieren kleine Draft-Modelle mit begrenzter Kapazität typischerweise zu suboptimalen Lösungen, bei denen die Minimierung der KL-Divergenz nicht die Maximierung der Akzeptanzrate garantiert. Um dieses Problem zu adressieren, schlagen wir LK-Losses vor, spezielle Trainingsziele, die direkt auf die Akzeptanzrate abzielen. Umfassende Experimente mit vier Draft-Architekturen und sechs Zielmodellen mit Parametern zwischen 8B und 685B zeigen durchweg Verbesserungen in den Akzeptanzmetriken über alle Konfigurationen hinweg im Vergleich zum standardmäßigen KL-basierten Training. Wir evaluieren unseren Ansatz in den Bereichen Allgemeinwissen, Programmierung und Mathematik und verzeichnen Steigerungen der durchschnittlichen Akzeptanzlänge von bis zu 8-10 %. LK-Losses sind einfach zu implementieren, verursachen keinen zusätzlichen Rechenaufwand und können direkt in jedes bestehende Framework für das Training von Draft-Modellen integriert werden, was sie zu einer überzeugenden Alternative zu den bestehenden Trainingszielen macht.

English

Speculative decoding accelerates autoregressive large language model (LLM) inference by using a lightweight draft model to propose candidate tokens that are then verified in parallel by the target model. The speedup is significantly determined by the acceptance rate, yet standard training minimizes Kullback-Leibler (KL) divergence as a proxy objective. While KL divergence and acceptance rate share the same global optimum, small draft models, having limited capacity, typically converge to suboptimal solutions where minimizing KL does not guarantee maximizing acceptance rate. To address this issue, we propose LK losses, special training objectives that directly target acceptance rate. Comprehensive experiments across four draft architectures and six target models, ranging from 8B to 685B parameters, demonstrate consistent improvements in acceptance metrics across all configurations compared to the standard KL-based training. We evaluate our approach on general, coding and math domains and report gains of up to 8-10% in average acceptance length. LK losses are easy to implement, introduce no computational overhead and can be directly integrated into any existing speculator training framework, making them a compelling alternative to the existing draft training objectives.