CoDA : Codage des modèles de langage via l’adaptation par diffusion

papers.abstract

Les modèles de langage à diffusion promettent un contexte bidirectionnel et des capacités de remplissage que les codeurs autorégressifs ne possèdent pas, mais les systèmes pratiques restent lourds. Nous présentons CoDA, un codeur à diffusion de 1,7 milliard de paramètres entraîné sur TPU avec un pipeline d'entraînement entièrement open-source. CoDA associe un pré-entraînement à grande échelle par diffusion à un entraînement intermédiaire centré sur le code et un réglage par instruction, permettant un échantillonnage guidé par la confiance qui maintient une latence d'inférence compétitive. Sur Humaneval, MBPP et EvalPlus, CoDA-1.7B-Instruct égale ou dépasse les modèles à diffusion allant jusqu'à 7 milliards de paramètres. Notre publication inclut des points de contrôle de modèle, des outils d'évaluation et des pipelines d'entraînement sur TPU pour accélérer la recherche sur les assistants de codage légers basés sur la diffusion.

English

Diffusion language models promise bidirectional context and infilling capabilities that autoregressive coders lack, yet practical systems remain heavyweight. We introduce CoDA, a 1.7B-parameter diffusion coder trained on TPU with a fully open-source training pipeline. CoDA pairs large-scale diffusion pre-training with code-centric mid-training and instruction tuning, enabling confidence-guided sampling that keeps inference latency competitive. On Humaneval, MBPP, and EvalPlus, CoDA-1.7B-Instruct matches or surpasses diffusion models up to 7B parameters. Our release includes model checkpoints, evaluation harnesses, and TPU training pipelines to accelerate research on lightweight diffusion-based coding assistants.

CoDA : Codage des modèles de langage via l’adaptation par diffusion

CoDA: Coding LM via Diffusion Adaptation

papers.abstract

Support