Coffee-Gym: 自然言語フィードバックの評価と改善のための環境

Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code

September 29, 2024

著者: Hyungjoo Chae, Taeyoon Kwon, Seungjun Moon, Yongho Song, Dongjin Kang, Kai Tzu-iunn Ong, Beong-woo Kwak, Seonghyeon Bae, Seung-won Hwang, Jinyoung Yeo

cs.AI

要旨

本論文では、コード編集に関するフィードバックを提供するモデルを訓練するための包括的な強化学習環境であるCoffee-Gymを提案します。Coffee-Gymには、主に2つの要素が含まれています：(1) コーディング問題のための人間のコード編集トレースと誤ったコードの編集に対する機械生成のフィードバックを含むデータセットであるCoffee；(2) 修正されたコードのパフォーマンスを単体テストで評価することで、フィードバックの有用性を忠実に反映する報酬関数であるCoffeeEval。これらにより、Coffee-Gymは、強化学習でフィードバックモデルを訓練するための高品質なデータセットの入手困難さに対処し、SOTA報酬モデル（GPT-4）よりもより正確な報酬を提供します。Coffee-Gymを適用することで、オープンソースのコードLLMのコード編集を向上させるフィードバックモデルを導き出し、これらをクローズドソースのLLMと比較可能にします。データセットとモデルのチェックポイントを一般に公開します。

English

This paper presents Coffee-Gym, a comprehensive RL environment for training models that provide feedback on code editing. Coffee-Gym includes two major components: (1) Coffee, a dataset containing humans' code edit traces for coding questions and machine-written feedback for editing erroneous code; (2) CoffeeEval, a reward function that faithfully reflects the helpfulness of feedback by assessing the performance of the revised code in unit tests. With them, Coffee-Gym addresses the unavailability of high-quality datasets for training feedback models with RL, and provides more accurate rewards than the SOTA reward model (i.e., GPT-4). By applying Coffee-Gym, we elicit feedback models that outperform baselines in enhancing open-source code LLMs' code editing, making them comparable with closed-source LLMs. We make the dataset and the model checkpoint publicly available.