CoDA: Codificação de LM via Adaptação por Difusão

CoDA: Coding LM via Diffusion Adaptation

September 27, 2025

Autores: Haolin Chen, Shiyu Wang, Can Qin, Bo Pang, Zuxin Liu, Jielin Qiu, Jianguo Zhang, Yingbo Zhou, Zeyuan Chen, Ran Xu, Shelby Heinecke, Silvio Savarese, Caiming Xiong, Huan Wang, Weiran Yao

cs.AI

Resumo

Modelos de linguagem de difusão prometem capacidades de contexto bidirecional e preenchimento que codificadores autoregressivos não possuem, porém sistemas práticos ainda permanecem pesados. Apresentamos o CoDA, um codificador de difusão de 1,7 bilhão de parâmetros treinado em TPU com um pipeline de treinamento totalmente de código aberto. O CoDA combina pré-treinamento de difusão em larga escala com treinamento intermediário centrado em código e ajuste por instrução, permitindo amostragem guiada por confiança que mantém a latência de inferência competitiva. No Humaneval, MBPP e EvalPlus, o CoDA-1.7B-Instruct iguala ou supera modelos de difusão com até 7 bilhões de parâmetros. Nossa versão inclui checkpoints do modelo, ferramentas de avaliação e pipelines de treinamento em TPU para acelerar a pesquisa em assistentes de codificação baseados em difusão leves.

English

Diffusion language models promise bidirectional context and infilling capabilities that autoregressive coders lack, yet practical systems remain heavyweight. We introduce CoDA, a 1.7B-parameter diffusion coder trained on TPU with a fully open-source training pipeline. CoDA pairs large-scale diffusion pre-training with code-centric mid-training and instruction tuning, enabling confidence-guided sampling that keeps inference latency competitive. On Humaneval, MBPP, and EvalPlus, CoDA-1.7B-Instruct matches or surpasses diffusion models up to 7B parameters. Our release includes model checkpoints, evaluation harnesses, and TPU training pipelines to accelerate research on lightweight diffusion-based coding assistants.