Geplante Diffusion

Planned Diffusion

October 20, 2025

papers.authors: Daniel Israel, Tian Jin, Ellie Cheng, Guy Van den Broeck, Aditya Grover, Suvinay Subramanian, Michael Carbin

cs.AI

papers.abstract

Eine zentrale Herausforderung bei der Inferenz großer Sprachmodelle ist der Kompromiss zwischen Generierungsgeschwindigkeit und Ausgabequalität. Autoregressive Modelle erzeugen hochwertigen Text, generieren jedoch Token sequenziell. Diffusionsmodelle können Token parallel generieren, benötigen jedoch oft viele Iterationen, um dieselbe Qualität zu erreichen. Wir schlagen geplante Diffusion vor, eine hybride Methode, die die Stärken beider Paradigmen kombiniert. Geplante Diffusion arbeitet in zwei Phasen: Zuerst erstellt das Modell einen kurzen autoregressiven Plan, der die Ausgabe in kleinere, unabhängige Abschnitte unterteilt. Anschließend generiert das Modell diese Abschnitte gleichzeitig mithilfe von Diffusion. Dieser Ansatz erweitert die Pareto-Grenze zwischen Geschwindigkeit und Qualität und bietet einen praktischen Weg zu schnellerer, hochwertiger Textgenerierung. Auf AlpacaEval, einer Sammlung von 805 instruktionsbasierten Prompts, erreicht geplante Diffusion einen Pareto-optimalen Kompromiss zwischen Qualität und Latenz und erzielt eine Beschleunigung von 1,27x bis 1,81x gegenüber der autoregressiven Generierung bei nur einem Rückgang der Erfolgsrate von 0,87 % bis 5,4 %. Unsere Sensitivitätsanalyse zeigt, dass der Planungsmechanismus der geplanten Diffusion minimal und zuverlässig ist und einfache Laufzeitparameter existieren, um eine flexible Steuerung des Kompromisses zwischen Qualität und Latenz zu ermöglichen.

English

A central challenge in large language model inference is the trade-off between generation speed and output quality. Autoregressive models produce high-quality text but generate tokens sequentially. Diffusion models can generate tokens in parallel but often need many iterations to match the same quality. We propose planned diffusion, a hybrid method that combines the strengths of both paradigms. Planned diffusion works in two stages: first, the model creates a short autoregressive plan that breaks the output into smaller, independent spans. Second, the model generates these spans simultaneously using diffusion. This approach expands the speed-quality Pareto frontier and provides a practical path to faster, high-quality text generation. On AlpacaEval, a suite of 805 instruction-following prompts, planned diffusion achieves Pareto-optimal trade-off between quality and latency, achieving 1.27x to 1.81x speedup over autoregressive generation with only 0.87\% to 5.4\% drop in win rate, respectively. Our sensitivity analysis shows that the planning mechanism of planned diffusion is minimal and reliable, and simple runtime knobs exist to provide flexible control of the quality-latency trade-off.