Seed Diffusion: Un Modelo de Lenguaje de Difusión a Gran Escala con Inferencia de Alta Velocidad

Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference

August 4, 2025

Autores: Yuxuan Song, Zheng Zhang, Cheng Luo, Pengyang Gao, Fan Xia, Hao Luo, Zheng Li, Yuehang Yang, Hongli Yu, Xingwei Qu, Yuwei Fu, Jing Su, Ge Zhang, Wenhao Huang, Mingxuan Wang, Lin Yan, Xiaoying Jia, Jingjing Liu, Wei-Ying Ma, Ya-Qin Zhang, Yonghui Wu, Hao Zhou

cs.AI

Resumen

Presentamos Seed Diffusion Preview, un modelo de lenguaje a gran escala basado en difusión de estados discretos, que ofrece una velocidad de inferencia notablemente rápida. Gracias a la generación no secuencial y en paralelo, los modelos de difusión discreta proporcionan una aceleración significativa para mitigar la latencia inherente de la decodificación token por token, como se ha demostrado recientemente (por ejemplo, Mercury Coder, Gemini Diffusion). Seed Diffusion Preview alcanza una velocidad de inferencia de 2,146 tokens/s en GPUs H20, manteniendo un rendimiento competitivo en una variedad de benchmarks estándar de evaluación de código, significativamente más rápido que los modelos contemporáneos Mercury y Gemini Diffusion, estableciendo un nuevo estado del arte en la frontera de Pareto velocidad-calidad para modelos de código.

English

We present Seed Diffusion Preview, a large-scale language model based on discrete-state diffusion, offering remarkably fast inference speed. Thanks to non-sequential, parallel generation, discrete diffusion models provide a notable speedup to mitigate the inherent latency of token-by-token decoding, as demonstrated recently (e.g., Mercury Coder, Gemini Diffusion). Seed Diffusion Preview achieves an inference speed of 2,146 token/s over H20 GPUs while maintaining competitive performance across a sweep of standard code evaluation benchmarks, significantly faster than contemporary Mercury and Gemini Diffusion, establishing new state of the art on the speed-quality Pareto frontier for code models.