CoDA: Codering van Taalmodellen via Diffusie-adaptatie

CoDA: Coding LM via Diffusion Adaptation

September 27, 2025

Auteurs: Haolin Chen, Shiyu Wang, Can Qin, Bo Pang, Zuxin Liu, Jielin Qiu, Jianguo Zhang, Yingbo Zhou, Zeyuan Chen, Ran Xu, Shelby Heinecke, Silvio Savarese, Caiming Xiong, Huan Wang, Weiran Yao

cs.AI

Samenvatting

Diffusie-taalmodelle beloven bidirectionele context en invulmogelijkheden die autoregressieve coders missen, maar praktische systemen blijven nog steeds zwaar. Wij introduceren CoDA, een diffusie-coder met 1,7 miljard parameters, getraind op TPU met een volledig open-source trainingspijplijn. CoDA combineert grootschalige diffusie-pre-training met code-gerichte mid-training en instructie-afstemming, waardoor vertrouwensgestuurde sampling mogelijk wordt die de inferentie-latentie concurrerend houdt. Op Humaneval, MBPP en EvalPlus presteert CoDA-1.7B-Instruct even goed of beter dan diffusiemodellen met tot 7 miljard parameters. Onze release omvat modelcheckpoints, evaluatieharnassen en TPU-trainingspijplijnen om onderzoek naar lichtgewicht diffusie-gebaseerde codeerassistenten te versnellen.

English

Diffusion language models promise bidirectional context and infilling capabilities that autoregressive coders lack, yet practical systems remain heavyweight. We introduce CoDA, a 1.7B-parameter diffusion coder trained on TPU with a fully open-source training pipeline. CoDA pairs large-scale diffusion pre-training with code-centric mid-training and instruction tuning, enabling confidence-guided sampling that keeps inference latency competitive. On Humaneval, MBPP, and EvalPlus, CoDA-1.7B-Instruct matches or surpasses diffusion models up to 7B parameters. Our release includes model checkpoints, evaluation harnesses, and TPU training pipelines to accelerate research on lightweight diffusion-based coding assistants.