Кофе-тренажерка: Среда для оценки и улучшения естественного языка обратной связи по ошибочному коду

Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code

September 29, 2024

Авторы: Hyungjoo Chae, Taeyoon Kwon, Seungjun Moon, Yongho Song, Dongjin Kang, Kai Tzu-iunn Ong, Beong-woo Kwak, Seonghyeon Bae, Seung-won Hwang, Jinyoung Yeo

cs.AI

Аннотация

В данной статье представлен Coffee-Gym, обширная среда обучения с подкреплением для обучения моделей, предоставляющих обратную связь по редактированию кода. Coffee-Gym включает два основных компонента: (1) Coffee, набор данных, содержащий следы редактирования кода людьми для программных вопросов и машинно-созданную обратную связь для редактирования ошибочного кода; (2) CoffeeEval, функция вознаграждения, которая точно отражает полезность обратной связи, оценивая производительность отредактированного кода в модульных тестах. С их помощью Coffee-Gym решает проблему отсутствия высококачественных наборов данных для обучения моделей обратной связи с подкреплением и предоставляет более точные вознаграждения, чем передовая модель вознаграждения (т.е. GPT-4). Применяя Coffee-Gym, мы получаем модели обратной связи, которые превосходят базовые показатели в улучшении редактирования кода моделей языковых моделей с открытым исходным кодом, делая их сопоставимыми с моделями языковых моделей с закрытым исходным кодом. Мы предоставляем набор данных и контрольную точку модели общественному доступу.

English

This paper presents Coffee-Gym, a comprehensive RL environment for training models that provide feedback on code editing. Coffee-Gym includes two major components: (1) Coffee, a dataset containing humans' code edit traces for coding questions and machine-written feedback for editing erroneous code; (2) CoffeeEval, a reward function that faithfully reflects the helpfulness of feedback by assessing the performance of the revised code in unit tests. With them, Coffee-Gym addresses the unavailability of high-quality datasets for training feedback models with RL, and provides more accurate rewards than the SOTA reward model (i.e., GPT-4). By applying Coffee-Gym, we elicit feedback models that outperform baselines in enhancing open-source code LLMs' code editing, making them comparable with closed-source LLMs. We make the dataset and the model checkpoint publicly available.