Coffee-Gym: Un entorno para evaluar y mejorar la retroalimentación en lenguaje natural sobre código erróneo

Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code

September 29, 2024

Autores: Hyungjoo Chae, Taeyoon Kwon, Seungjun Moon, Yongho Song, Dongjin Kang, Kai Tzu-iunn Ong, Beong-woo Kwak, Seonghyeon Bae, Seung-won Hwang, Jinyoung Yeo

cs.AI

Resumen

Este documento presenta Coffee-Gym, un entorno RL integral para entrenar modelos que proporcionan retroalimentación sobre la edición de código. Coffee-Gym incluye dos componentes principales: (1) Coffee, un conjunto de datos que contiene trazas de edición de código de humanos para preguntas de codificación y retroalimentación escrita por máquina para editar código erróneo; (2) CoffeeEval, una función de recompensa que refleja fielmente la utilidad de la retroalimentación al evaluar el rendimiento del código revisado en pruebas unitarias. Con ellos, Coffee-Gym aborda la falta de conjuntos de datos de alta calidad para entrenar modelos de retroalimentación con RL, y proporciona recompensas más precisas que el modelo de recompensa SOTA (es decir, GPT-4). Al aplicar Coffee-Gym, obtenemos modelos de retroalimentación que superan a los baselines en mejorar la edición de código de LLMs de código abierto, haciéndolos comparables con LLMs de código cerrado. Ponemos el conjunto de datos y el punto de control del modelo a disposición del público.

English

This paper presents Coffee-Gym, a comprehensive RL environment for training models that provide feedback on code editing. Coffee-Gym includes two major components: (1) Coffee, a dataset containing humans' code edit traces for coding questions and machine-written feedback for editing erroneous code; (2) CoffeeEval, a reward function that faithfully reflects the helpfulness of feedback by assessing the performance of the revised code in unit tests. With them, Coffee-Gym addresses the unavailability of high-quality datasets for training feedback models with RL, and provides more accurate rewards than the SOTA reward model (i.e., GPT-4). By applying Coffee-Gym, we elicit feedback models that outperform baselines in enhancing open-source code LLMs' code editing, making them comparable with closed-source LLMs. We make the dataset and the model checkpoint publicly available.