CoDA: Codificación de LM mediante Adaptación por Difusión

Resumen

Los modelos de lenguaje basados en difusión prometen capacidades de contexto bidireccional y relleno que los codificadores autorregresivos no poseen, aunque los sistemas prácticos siguen siendo pesados. Presentamos CoDA, un codificador de difusión de 1.700 millones de parámetros entrenado en TPU con una canalización de entrenamiento completamente de código abierto. CoDA combina un preentrenamiento de difusión a gran escala con un entrenamiento intermedio centrado en código y ajuste por instrucciones, lo que permite un muestreo guiado por confianza que mantiene la latencia de inferencia competitiva. En Humaneval, MBPP y EvalPlus, CoDA-1.7B-Instruct iguala o supera a los modelos de difusión de hasta 7.000 millones de parámetros. Nuestra publicación incluye puntos de control del modelo, herramientas de evaluación y canalizaciones de entrenamiento en TPU para acelerar la investigación en asistentes de codificación ligeros basados en difusión.

English

Diffusion language models promise bidirectional context and infilling capabilities that autoregressive coders lack, yet practical systems remain heavyweight. We introduce CoDA, a 1.7B-parameter diffusion coder trained on TPU with a fully open-source training pipeline. CoDA pairs large-scale diffusion pre-training with code-centric mid-training and instruction tuning, enabling confidence-guided sampling that keeps inference latency competitive. On Humaneval, MBPP, and EvalPlus, CoDA-1.7B-Instruct matches or surpasses diffusion models up to 7B parameters. Our release includes model checkpoints, evaluation harnesses, and TPU training pipelines to accelerate research on lightweight diffusion-based coding assistants.

CoDA: Codificación de LM mediante Adaptación por Difusión

CoDA: Coding LM via Diffusion Adaptation

Resumen

Support