Geplande Diffusie

Planned Diffusion

October 20, 2025

Auteurs: Daniel Israel, Tian Jin, Ellie Cheng, Guy Van den Broeck, Aditya Grover, Suvinay Subramanian, Michael Carbin

cs.AI

Samenvatting

Een centrale uitdaging bij inferentie met grote taalmodellen is de afweging tussen generatiesnelheid en uitvoerkwaliteit. Autoregressieve modellen produceren tekst van hoge kwaliteit, maar genereren tokens sequentieel. Diffusiemodellen kunnen tokens parallel genereren, maar hebben vaak veel iteraties nodig om dezelfde kwaliteit te bereiken. Wij stellen geplande diffusie voor, een hybride methode die de sterke punten van beide paradigma's combineert. Geplande diffusie werkt in twee fasen: eerst maakt het model een kort autoregressief plan dat de uitvoer opsplitst in kleinere, onafhankelijke segmenten. Vervolgens genereert het model deze segmenten gelijktijdig met behulp van diffusie. Deze aanpak breidt de Pareto-grens voor snelheid en kwaliteit uit en biedt een praktische weg naar snellere, hoogwaardige tekstgeneratie. Op AlpacaEval, een reeks van 805 instructievolgende prompts, bereikt geplande diffusie een Pareto-optimale afweging tussen kwaliteit en latentie, met een versnelling van 1,27x tot 1,81x ten opzichte van autoregressieve generatie, met slechts een daling van 0,87% tot 5,4% in winrate, respectievelijk. Onze gevoeligheidsanalyse toont aan dat het planningsmechanisme van geplande diffusie minimaal en betrouwbaar is, en dat eenvoudige runtime-instellingen bestaan om flexibele controle over de afweging tussen kwaliteit en latentie te bieden.

English

A central challenge in large language model inference is the trade-off between generation speed and output quality. Autoregressive models produce high-quality text but generate tokens sequentially. Diffusion models can generate tokens in parallel but often need many iterations to match the same quality. We propose planned diffusion, a hybrid method that combines the strengths of both paradigms. Planned diffusion works in two stages: first, the model creates a short autoregressive plan that breaks the output into smaller, independent spans. Second, the model generates these spans simultaneously using diffusion. This approach expands the speed-quality Pareto frontier and provides a practical path to faster, high-quality text generation. On AlpacaEval, a suite of 805 instruction-following prompts, planned diffusion achieves Pareto-optimal trade-off between quality and latency, achieving 1.27x to 1.81x speedup over autoregressive generation with only 0.87\% to 5.4\% drop in win rate, respectively. Our sensitivity analysis shows that the planning mechanism of planned diffusion is minimal and reliable, and simple runtime knobs exist to provide flexible control of the quality-latency trade-off.