Coffee-Gym: Eine Umgebung zur Bewertung und Verbesserung von natürlich-sprachlichem Feedback zu fehlerhaftem Code.

Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code

September 29, 2024

Autoren: Hyungjoo Chae, Taeyoon Kwon, Seungjun Moon, Yongho Song, Dongjin Kang, Kai Tzu-iunn Ong, Beong-woo Kwak, Seonghyeon Bae, Seung-won Hwang, Jinyoung Yeo

cs.AI

Zusammenfassung

Dieses Paper präsentiert Coffee-Gym, eine umfassende RL-Umgebung zur Schulung von Modellen, die Feedback zur Code-Bearbeitung geben. Coffee-Gym umfasst zwei Hauptkomponenten: (1) Coffee, ein Datensatz, der die Code-Bearbeitungsspuren von Menschen für Codierungsfragen und maschinengeschriebenes Feedback für die Bearbeitung fehlerhaften Codes enthält; (2) CoffeeEval, eine Belohnungsfunktion, die die Hilfreichkeit des Feedbacks getreu widerspiegelt, indem sie die Leistung des überarbeiteten Codes in Unittests bewertet. Mit diesen Komponenten begegnet Coffee-Gym der Nichtverfügbarkeit hochwertiger Datensätze zur Schulung von Feedback-Modellen mit RL und bietet genauere Belohnungen als das derzeit führende Belohnungsmodell (d. h. GPT-4). Durch die Anwendung von Coffee-Gym erzielen wir Feedback-Modelle, die Baselines bei der Verbesserung der Code-Bearbeitung von Open-Source-Code-LLMs übertreffen und sie mit Closed-Source-LLMs vergleichbar machen. Wir stellen den Datensatz und den Modell-Checkpoint öffentlich zur Verfügung.

English

This paper presents Coffee-Gym, a comprehensive RL environment for training models that provide feedback on code editing. Coffee-Gym includes two major components: (1) Coffee, a dataset containing humans' code edit traces for coding questions and machine-written feedback for editing erroneous code; (2) CoffeeEval, a reward function that faithfully reflects the helpfulness of feedback by assessing the performance of the revised code in unit tests. With them, Coffee-Gym addresses the unavailability of high-quality datasets for training feedback models with RL, and provides more accurate rewards than the SOTA reward model (i.e., GPT-4). By applying Coffee-Gym, we elicit feedback models that outperform baselines in enhancing open-source code LLMs' code editing, making them comparable with closed-source LLMs. We make the dataset and the model checkpoint publicly available.