Coffee-Gym : Un environnement pour évaluer et améliorer le feedback en langage naturel sur du code erroné

Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code

September 29, 2024

Auteurs: Hyungjoo Chae, Taeyoon Kwon, Seungjun Moon, Yongho Song, Dongjin Kang, Kai Tzu-iunn Ong, Beong-woo Kwak, Seonghyeon Bae, Seung-won Hwang, Jinyoung Yeo

cs.AI

Résumé

Cet article présente Coffee-Gym, un environnement RL complet pour l'entraînement de modèles fournissant des retours sur l'édition de code. Coffee-Gym comprend deux composants majeurs : (1) Coffee, un ensemble de données contenant les traces d'édition de code des humains pour des questions de codage et des retours écrits par machine pour l'édition de code erroné ; (2) CoffeeEval, une fonction de récompense reflétant fidèlement l'utilité des retours en évaluant les performances du code révisé dans des tests unitaires. Avec ceux-ci, Coffee-Gym répond au manque de jeux de données de haute qualité pour l'entraînement de modèles de retours avec RL, et fournit des récompenses plus précises que le modèle de récompense SOTA (c'est-à-dire GPT-4). En appliquant Coffee-Gym, nous obtenons des modèles de retours qui surpassent les références dans l'amélioration de l'édition de code des LLMs de code open-source, les rendant comparables aux LLMs de code closed-source. Nous mettons l'ensemble de données et le point de contrôle du modèle à disposition du public.

English

This paper presents Coffee-Gym, a comprehensive RL environment for training models that provide feedback on code editing. Coffee-Gym includes two major components: (1) Coffee, a dataset containing humans' code edit traces for coding questions and machine-written feedback for editing erroneous code; (2) CoffeeEval, a reward function that faithfully reflects the helpfulness of feedback by assessing the performance of the revised code in unit tests. With them, Coffee-Gym addresses the unavailability of high-quality datasets for training feedback models with RL, and provides more accurate rewards than the SOTA reward model (i.e., GPT-4). By applying Coffee-Gym, we elicit feedback models that outperform baselines in enhancing open-source code LLMs' code editing, making them comparable with closed-source LLMs. We make the dataset and the model checkpoint publicly available.