Seed Diffusion: Масштабная диффузионная языковая модель с высокоскоростным выводом
Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference
August 4, 2025
Авторы: Yuxuan Song, Zheng Zhang, Cheng Luo, Pengyang Gao, Fan Xia, Hao Luo, Zheng Li, Yuehang Yang, Hongli Yu, Xingwei Qu, Yuwei Fu, Jing Su, Ge Zhang, Wenhao Huang, Mingxuan Wang, Lin Yan, Xiaoying Jia, Jingjing Liu, Wei-Ying Ma, Ya-Qin Zhang, Yonghui Wu, Hao Zhou
cs.AI
Аннотация
Мы представляем Seed Diffusion Preview — крупномасштабную языковую модель, основанную на дискретной диффузии, которая обеспечивает исключительно высокую скорость вывода. Благодаря не-последовательному, параллельному генеративному процессу, модели дискретной диффузии значительно ускоряют генерацию, устраняя присущую задержку пошагового декодирования токенов, что было недавно продемонстрировано (например, в моделях Mercury Coder и Gemini Diffusion). Seed Diffusion Preview достигает скорости вывода 2 146 токенов в секунду на GPU H20, сохраняя при этом конкурентоспособную производительность на широком спектре стандартных бенчмарков для оценки кода. Это значительно быстрее, чем современные модели Mercury и Gemini Diffusion, устанавливая новый эталон на Парето-фронте скорости и качества для моделей генерации кода.
English
We present Seed Diffusion Preview, a large-scale language model based on
discrete-state diffusion, offering remarkably fast inference speed. Thanks to
non-sequential, parallel generation, discrete diffusion models provide a
notable speedup to mitigate the inherent latency of token-by-token decoding, as
demonstrated recently (e.g., Mercury Coder, Gemini Diffusion). Seed Diffusion
Preview achieves an inference speed of 2,146 token/s over H20 GPUs while
maintaining competitive performance across a sweep of standard code evaluation
benchmarks, significantly faster than contemporary Mercury and Gemini
Diffusion, establishing new state of the art on the speed-quality Pareto
frontier for code models.