Modelo en borrador sabe cuándo detenerse: Una política de longitud de autoverificación para decodificación especulativa

Draft Model Knows When to Stop: A Self-Verification Length Policy for Speculative Decoding

November 27, 2024

Autores: Ziyin Zhang, Jiahao Xu, Tian Liang, Xingyu Chen, Zhiwei He, Rui Wang, Zhaopeng Tu

cs.AI

Resumen

La Decodificación Especulativa (SD, por sus siglas en inglés) se ha convertido en una técnica importante para acelerar la velocidad de inferencia de grandes modelos de lenguaje. Los métodos convencionales de SD emplean una longitud de borrador fija, lo cual ignora la dificultad de generación de tokens entre tareas. En consecuencia, en este documento abordamos dicho problema e introducimos SVIP, una política de longitud de borrador dinámica consciente de la dificultad para sistemas de decodificación especulativa. Basado en un límite teórico inferior de la tasa de aceptación de tokens de borrador y su aproximación en tiempo de inferencia, SVIP determina de manera adaptativa las longitudes de las secuencias de borrador en función de la entropía de la distribución de cada token de borrador. Los resultados experimentales en bancos de pruebas y marcos de trabajo de SD convencionales demuestran el rendimiento superior de SVIP, logrando hasta un 20\% de aceleración en el tiempo de ejecución en SpecBench sobre los métodos de SD base y un 60\% de aceleración en MT-Bench para la generación de texto largo de hasta 8K tokens. Además, SVIP no requiere entrenamiento y es compatible con cualquier método de SD existente que genere tokens de borrador de forma autoregresiva. Los resultados experimentales también muestran que SVIP proporciona una mejora consistente en el tiempo de ejecución sobre GliDe & CaPE y EAGLE-2.

English

Speculative Decoding (SD) has become an important technique in accelerating the inference speed of large language models. Conventional SD methods employ a fixed draft length, which ignores the token generation difficulty across tasks. Consequently, in this paper, we address such an issue and introduce SVIP - a difficulty-aware dynamic draft length policy for speculative decoding systems. Based on a theoretical lower bound of draft token acceptance rate and its inference-time approximation, SVIP adaptively determines the lengths of draft sequences based on the entropy of each draft token distribution. Experimental results on mainstream SD benchmarks and frameworks demonstrate the superior performance of SVIP, achieving up to 20\% walltime speedup on SpecBench over baseline SD methods and 60\% speedup on MT-Bench for long-form generation of up to 8K tokens. Moreover, SVIP is totally training-free and compatible with any existing SD methods that generate draft tokens autoregressively. Experimental results also show that SVIP yields consistent walltime improvement on top of GliDe & CaPE and EAGLE-2.