Coffee-Gym: Un ambiente per valutare e migliorare il feedback in linguaggio naturale sull'errore del codice.

Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code

September 29, 2024

Autori: Hyungjoo Chae, Taeyoon Kwon, Seungjun Moon, Yongho Song, Dongjin Kang, Kai Tzu-iunn Ong, Beong-woo Kwak, Seonghyeon Bae, Seung-won Hwang, Jinyoung Yeo

cs.AI

Abstract

Questo articolo presenta Coffee-Gym, un ambiente RL completo per addestrare modelli che forniscono feedback sulla modifica del codice. Coffee-Gym include due componenti principali: (1) Coffee, un dataset contenente tracce di modifica del codice degli umani per domande di codifica e feedback scritto dalla macchina per la modifica del codice errato; (2) CoffeeEval, una funzione di ricompensa che riflette fedelmente l'utilità del feedback valutando le prestazioni del codice modificato nei test di unità. Con essi, Coffee-Gym affronta la mancanza di dataset di alta qualità per addestrare modelli di feedback con RL e fornisce ricompense più accurate rispetto al modello di ricompensa SOTA (cioè, GPT-4). Applicando Coffee-Gym, otteniamo modelli di feedback che superano le baselines nel migliorare la modifica del codice degli LLM di codice open-source, rendendoli comparabili con gli LLM di codice closed-source. Mettiamo a disposizione pubblica il dataset e il checkpoint del modello.

English

This paper presents Coffee-Gym, a comprehensive RL environment for training models that provide feedback on code editing. Coffee-Gym includes two major components: (1) Coffee, a dataset containing humans' code edit traces for coding questions and machine-written feedback for editing erroneous code; (2) CoffeeEval, a reward function that faithfully reflects the helpfulness of feedback by assessing the performance of the revised code in unit tests. With them, Coffee-Gym addresses the unavailability of high-quality datasets for training feedback models with RL, and provides more accurate rewards than the SOTA reward model (i.e., GPT-4). By applying Coffee-Gym, we elicit feedback models that outperform baselines in enhancing open-source code LLMs' code editing, making them comparable with closed-source LLMs. We make the dataset and the model checkpoint publicly available.