CoDA: 拡散適応によるコーディング言語モデル

CoDA: Coding LM via Diffusion Adaptation

September 27, 2025

著者: Haolin Chen, Shiyu Wang, Can Qin, Bo Pang, Zuxin Liu, Jielin Qiu, Jianguo Zhang, Yingbo Zhou, Zeyuan Chen, Ran Xu, Shelby Heinecke, Silvio Savarese, Caiming Xiong, Huan Wang, Weiran Yao

cs.AI

要旨

拡散言語モデルは、自己回帰型コーダーが持たない双方向コンテキストと穴埋め能力を約束しますが、実用的なシステムは依然として重いままです。私たちは、TPUでトレーニングされ、完全にオープンソースのトレーニングパイプラインを持つ1.7Bパラメータの拡散コーダーであるCoDAを紹介します。CoDAは、大規模な拡散事前トレーニングとコード中心の中間トレーニング、および指示チューニングを組み合わせ、推論遅延を競争力のあるレベルに保つ信頼度ガイド付きサンプリングを可能にします。Humaneval、MBPP、およびEvalPlusにおいて、CoDA-1.7B-Instructは7Bパラメータまでの拡散モデルに匹敵またはそれを上回ります。私たちのリリースには、軽量な拡散ベースのコーディングアシスタントの研究を加速するためのモデルチェックポイント、評価ハーネス、およびTPUトレーニングパイプラインが含まれています。

English

Diffusion language models promise bidirectional context and infilling capabilities that autoregressive coders lack, yet practical systems remain heavyweight. We introduce CoDA, a 1.7B-parameter diffusion coder trained on TPU with a fully open-source training pipeline. CoDA pairs large-scale diffusion pre-training with code-centric mid-training and instruction tuning, enabling confidence-guided sampling that keeps inference latency competitive. On Humaneval, MBPP, and EvalPlus, CoDA-1.7B-Instruct matches or surpasses diffusion models up to 7B parameters. Our release includes model checkpoints, evaluation harnesses, and TPU training pipelines to accelerate research on lightweight diffusion-based coding assistants.