Koffie-Gym: Een Omgeving voor het Evalueren en Verbeteren van Natuurlijke Taal Feedback op Foutieve Code

Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code

September 29, 2024

Auteurs: Hyungjoo Chae, Taeyoon Kwon, Seungjun Moon, Yongho Song, Dongjin Kang, Kai Tzu-iunn Ong, Beong-woo Kwak, Seonghyeon Bae, Seung-won Hwang, Jinyoung Yeo

cs.AI

Samenvatting

Dit artikel presenteert Coffee-Gym, een uitgebreide RL-omgeving voor het trainen van modellen die feedback geven op codebewerking. Coffee-Gym omvat twee belangrijke componenten: (1) Coffee, een dataset met de codebewerkingssporen van mensen voor programmeervragen en door machines geschreven feedback voor het bewerken van foutieve code; (2) CoffeeEval, een beloningsfunctie die nauwkeurig de behulpzaamheid van feedback weerspiegelt door de prestaties van de herziene code in unit tests te beoordelen. Met behulp van deze componenten adresseert Coffee-Gym het ontbreken van hoogwaardige datasets voor het trainen van feedbackmodellen met RL, en levert het nauwkeurigere beloningen dan het toonaangevende beloningsmodel (d.w.z. GPT-4). Door Coffee-Gym toe te passen, halen we feedbackmodellen naar boven die beter presteren dan baselines bij het verbeteren van de codebewerking van open-source code LLM's, waardoor ze vergelijkbaar zijn met closed-source LLM's. We stellen de dataset en het modelcheckpoint openbaar beschikbaar.

English

This paper presents Coffee-Gym, a comprehensive RL environment for training models that provide feedback on code editing. Coffee-Gym includes two major components: (1) Coffee, a dataset containing humans' code edit traces for coding questions and machine-written feedback for editing erroneous code; (2) CoffeeEval, a reward function that faithfully reflects the helpfulness of feedback by assessing the performance of the revised code in unit tests. With them, Coffee-Gym addresses the unavailability of high-quality datasets for training feedback models with RL, and provides more accurate rewards than the SOTA reward model (i.e., GPT-4). By applying Coffee-Gym, we elicit feedback models that outperform baselines in enhancing open-source code LLMs' code editing, making them comparable with closed-source LLMs. We make the dataset and the model checkpoint publicly available.