DSpark: Konfidenzgesteuerte spekulative Dekodierung mit semi-autoregressiver Generierung

Zusammenfassung

Spekulative Dekodierung beschleunigt die Inferenz großer Sprachmodelle (LLMs), indem sie die Entwurfsgenerierung von der Zielverifikation entkoppelt. Während neuere parallele Entwerfer effizient lange Token-Sequenzen in einem einzigen Vorwärtsdurchlauf vorschlagen, leiden sie unter einem schnellen Akzeptanzabfall aufgrund fehlender Abhängigkeiten zwischen den Token. Darüber hinaus verschwendet die unterschiedslose Verifikation dieser erweiterten Blöcke kritische Batch-Kapazität an Token mit hohem Ablehnungsrisiko, was den Durchsatz in Systemen mit hohem Parallelitätsgrad stark beeinträchtigt. Wir führen DSpark ein, ein Framework für spekulative Dekodierung, das hochparallele Generierung mit adaptiver, lastbewusster Verifikation vereint. Um die Entwurfsqualität zu erhalten, nutzt DSpark eine semi-autoregressive Architektur, die einen parallelen Kern mit einem leichten sequentiellen Modul koppelt, um die Modellierung von Intra-Block-Abhängigkeiten zu ermöglichen und den Suffixabfall zu mildern. Zur Optimierung der Systemeffizienz verwendet DSpark eine konfidenzgesteuerte Verifikation, die die Verifikationslänge für jede Anfrage dynamisch anpasst, basierend auf geschätzten Überlebenswahrscheinlichkeiten des Präfix und durchsatzspezifischen Profilen der Engine. In Offline-Benchmarks aus verschiedenen Bereichen verbessert DSpark die akzeptierte Länge im Vergleich zu den modernsten autoregressiven und parallelen Entwerfern erheblich. Bei der Bereitstellung im DeepSeek-V4-Auslieferungssystem unter Live-Benutzerverkehr gelingt es DSpark, Verifikationsverschwendung zu vermeiden. Im Vergleich zur etablierten Produktionsbasislinie (MTP-1) beschleunigt DSpark die Generierungsgeschwindigkeiten pro Benutzer um 60 bis 85 Prozent bei gleichen Durchsatzebenen. Noch wichtiger ist, dass durch die Verhinderung schwerwiegender Durchsatzeinbußen unter strengen Interaktivitätsbeschränkungen Leistungsstufen ermöglicht werden, die zuvor unerreichbar waren, wodurch die Pareto-Front unseres Auslieferungssystems verschoben wird.

English

Speculative decoding accelerates Large Language Model (LLM) inference by decoupling draft generation from target verification. While recent parallel drafters efficiently propose long token sequences in a single forward pass, they suffer from rapid acceptance decay due to a lack of inter-token dependencies. Furthermore, indiscriminately verifying these extended blocks wastes critical batch capacity on tokens with high rejection risks, severely degrading throughput in high-concurrency serving systems. We introduce DSpark, a speculative decoding framework that unifies high-throughput parallel generation with adaptive, load-aware verification. To maintain draft quality, DSpark utilizes a semi-autoregressive architecture, coupling a parallel backbone with a lightweight sequential module, to introduce intra-block dependency modeling and mitigate suffix decay. To optimize system efficiency, DSpark employs confidence-scheduled verification, dynamically tailoring the verification length for each request based on estimated prefix survival probabilities and engine-specific throughput profiles. On offline benchmarks across diverse domains, DSpark substantially improves the accepted length over state-of-the-art autoregressive and parallel drafters. When deployed within the DeepSeek-V4 serving system under live user traffic, DSpark successfully mitigates verification waste. Compared to the established production baseline (MTP-1), DSpark accelerates per-user generation speeds by 60 to 85 percent at matched throughput levels. More importantly, by preventing severe throughput degradation under strict interactivity constraints, it enables performance tiers that were previously unattainable, shifting the Pareto frontier of our serving system.