CodeFusion: Een Vooraf Getraind Diffusiemodel voor Codegeneratie

CodeFusion: A Pre-trained Diffusion Model for Code Generation

October 26, 2023

Auteurs: Mukul Singh, José Cambronero, Sumit Gulwani, Vu Le, Carina Negreanu, Gust Verbruggen

cs.AI

Samenvatting

Stel je een ontwikkelaar voor die alleen de laatste regel code kan aanpassen; hoe vaak zou diegene een functie helemaal opnieuw moeten schrijven voordat deze correct is? Auto-regressieve modellen voor codegeneratie vanuit natuurlijke taal hebben een vergelijkbare beperking: ze maken het niet eenvoudig om eerder gegenereerde tokens te heroverwegen. Wij introduceren CodeFusion, een vooraf getraind diffusiemodel voor codegeneratie dat deze beperking aanpakt door iteratief een compleet programma te denoizen, geconditioneerd op de gecodeerde natuurlijke taal. We evalueren CodeFusion voor de taak van codegeneratie vanuit natuurlijke taal voor Bash, Python en Microsoft Excel voorwaardelijke opmaakregels (CF). Experimenten tonen aan dat CodeFusion (75M parameters) qua top-1 nauwkeurigheid gelijk presteert met state-of-the-art auto-regressieve systemen (350M-175B parameters) en deze overtreft in top-3 en top-5 nauwkeurigheid vanwege een betere balans tussen diversiteit en kwaliteit.

English

Imagine a developer who can only change their last line of code, how often would they have to start writing a function from scratch before it is correct? Auto-regressive models for code generation from natural language have a similar limitation: they do not easily allow reconsidering earlier tokens generated. We introduce CodeFusion, a pre-trained diffusion code generation model that addresses this limitation by iteratively denoising a complete program conditioned on the encoded natural language. We evaluate CodeFusion on the task of natural language to code generation for Bash, Python, and Microsoft Excel conditional formatting (CF) rules. Experiments show that CodeFusion (75M parameters) performs on par with state-of-the-art auto-regressive systems (350M-175B parameters) in top-1 accuracy and outperforms them in top-3 and top-5 accuracy due to its better balance in diversity versus quality.