Seed Diffusion: Een grootschalig diffusie-taalmodel met snelle inferentie

Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference

August 4, 2025

Auteurs: Yuxuan Song, Zheng Zhang, Cheng Luo, Pengyang Gao, Fan Xia, Hao Luo, Zheng Li, Yuehang Yang, Hongli Yu, Xingwei Qu, Yuwei Fu, Jing Su, Ge Zhang, Wenhao Huang, Mingxuan Wang, Lin Yan, Xiaoying Jia, Jingjing Liu, Wei-Ying Ma, Ya-Qin Zhang, Yonghui Wu, Hao Zhou

cs.AI

Samenvatting

We presenteren Seed Diffusion Preview, een grootschalig taalmodel gebaseerd op discrete-state diffusie, dat een opmerkelijk snelle inferentiesnelheid biedt. Dankzij niet-sequentiële, parallelle generatie bieden discrete diffusiemodellen een aanzienlijke snelheidswinst om de inherente latentie van token-voor-token decodering te verminderen, zoals recentelijk is aangetoond (bijv. Mercury Coder, Gemini Diffusion). Seed Diffusion Preview bereikt een inferentiesnelheid van 2.146 tokens/s op H20 GPU's, terwijl het competitieve prestaties behoudt over een reeks standaard code-evaluatiebenchmarks, aanzienlijk sneller dan de huidige Mercury en Gemini Diffusion, en vestigt daarmee een nieuwe standaard op het snelheid-kwaliteit Pareto-frontier voor codemodellen.

English

We present Seed Diffusion Preview, a large-scale language model based on discrete-state diffusion, offering remarkably fast inference speed. Thanks to non-sequential, parallel generation, discrete diffusion models provide a notable speedup to mitigate the inherent latency of token-by-token decoding, as demonstrated recently (e.g., Mercury Coder, Gemini Diffusion). Seed Diffusion Preview achieves an inference speed of 2,146 token/s over H20 GPUs while maintaining competitive performance across a sweep of standard code evaluation benchmarks, significantly faster than contemporary Mercury and Gemini Diffusion, establishing new state of the art on the speed-quality Pareto frontier for code models.