Difusão Planejada

Planned Diffusion

October 20, 2025

Autores: Daniel Israel, Tian Jin, Ellie Cheng, Guy Van den Broeck, Aditya Grover, Suvinay Subramanian, Michael Carbin

cs.AI

Resumo

Um desafio central na inferência de modelos de linguagem de grande escala é o equilíbrio entre velocidade de geração e qualidade da saída. Modelos autoregressivos produzem textos de alta qualidade, mas geram tokens sequencialmente. Modelos de difusão podem gerar tokens em paralelo, mas frequentemente precisam de muitas iterações para alcançar a mesma qualidade. Propomos a difusão planejada, um método híbrido que combina as vantagens de ambos os paradigmas. A difusão planejada funciona em duas etapas: primeiro, o modelo cria um plano autoregressivo curto que divide a saída em trechos menores e independentes. Em seguida, o modelo gera esses trechos simultaneamente usando difusão. Essa abordagem expande a fronteira de Pareto entre velocidade e qualidade e oferece um caminho prático para a geração de textos rápidos e de alta qualidade. No AlpacaEval, um conjunto de 805 prompts de seguimento de instruções, a difusão planejada alcança um equilíbrio Pareto-ótimo entre qualidade e latência, obtendo um aumento de velocidade de 1,27x a 1,81x em relação à geração autoregressiva, com uma queda de apenas 0,87% a 5,4% na taxa de vitória, respectivamente. Nossa análise de sensibilidade mostra que o mecanismo de planejamento da difusão planejada é mínimo e confiável, e existem controles simples de tempo de execução para fornecer um controle flexível do equilíbrio entre qualidade e latência.

English

A central challenge in large language model inference is the trade-off between generation speed and output quality. Autoregressive models produce high-quality text but generate tokens sequentially. Diffusion models can generate tokens in parallel but often need many iterations to match the same quality. We propose planned diffusion, a hybrid method that combines the strengths of both paradigms. Planned diffusion works in two stages: first, the model creates a short autoregressive plan that breaks the output into smaller, independent spans. Second, the model generates these spans simultaneously using diffusion. This approach expands the speed-quality Pareto frontier and provides a practical path to faster, high-quality text generation. On AlpacaEval, a suite of 805 instruction-following prompts, planned diffusion achieves Pareto-optimal trade-off between quality and latency, achieving 1.27x to 1.81x speedup over autoregressive generation with only 0.87\% to 5.4\% drop in win rate, respectively. Our sensitivity analysis shows that the planning mechanism of planned diffusion is minimal and reliable, and simple runtime knobs exist to provide flexible control of the quality-latency trade-off.