Seed Diffusion : Un modèle de langage à diffusion à grande échelle avec inférence à haute vitesse

papers.abstract

Nous présentons Seed Diffusion Preview, un modèle de langage à grande échelle basé sur la diffusion à états discrets, offrant une vitesse d'inférence remarquablement rapide. Grâce à une génération non séquentielle et parallèle, les modèles de diffusion discrets permettent une accélération notable pour atténuer la latence inhérente au décodage token par token, comme démontré récemment (par exemple, Mercury Coder, Gemini Diffusion). Seed Diffusion Preview atteint une vitesse d'inférence de 2 146 tokens/s sur des GPU H20 tout en maintenant des performances compétitives sur une série de benchmarks standard d'évaluation de code, surpassant significativement les modèles contemporains Mercury et Gemini Diffusion, établissant ainsi un nouvel état de l'art sur le front de Pareto vitesse-qualité pour les modèles de code.

English

We present Seed Diffusion Preview, a large-scale language model based on discrete-state diffusion, offering remarkably fast inference speed. Thanks to non-sequential, parallel generation, discrete diffusion models provide a notable speedup to mitigate the inherent latency of token-by-token decoding, as demonstrated recently (e.g., Mercury Coder, Gemini Diffusion). Seed Diffusion Preview achieves an inference speed of 2,146 token/s over H20 GPUs while maintaining competitive performance across a sweep of standard code evaluation benchmarks, significantly faster than contemporary Mercury and Gemini Diffusion, establishing new state of the art on the speed-quality Pareto frontier for code models.

Seed Diffusion : Un modèle de langage à diffusion à grande échelle avec inférence à haute vitesse

Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference

papers.abstract

Support