Coffee-Gym: Um Ambiente para Avaliar e Melhorar o Feedback em Linguagem Natural sobre Código Errôneo

Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code

September 29, 2024

Autores: Hyungjoo Chae, Taeyoon Kwon, Seungjun Moon, Yongho Song, Dongjin Kang, Kai Tzu-iunn Ong, Beong-woo Kwak, Seonghyeon Bae, Seung-won Hwang, Jinyoung Yeo

cs.AI

Resumo

Este artigo apresenta o Coffee-Gym, um ambiente abrangente de RL para treinar modelos que fornecem feedback sobre a edição de código. O Coffee-Gym inclui dois componentes principais: (1) Coffee, um conjunto de dados contendo rastros de edição de código de humanos para perguntas de codificação e feedback escrito por máquina para editar código incorreto; (2) CoffeeEval, uma função de recompensa que reflete fielmente a utilidade do feedback ao avaliar o desempenho do código revisado em testes unitários. Com eles, o Coffee-Gym aborda a falta de conjuntos de dados de alta qualidade para treinar modelos de feedback com RL e fornece recompensas mais precisas do que o modelo de recompensa SOTA (ou seja, GPT-4). Ao aplicar o Coffee-Gym, obtemos modelos de feedback que superam as bases na melhoria da edição de código de LLMs de código aberto, tornando-os comparáveis aos LLMs de código fechado. Disponibilizamos publicamente o conjunto de dados e o ponto de verificação do modelo.

English

This paper presents Coffee-Gym, a comprehensive RL environment for training models that provide feedback on code editing. Coffee-Gym includes two major components: (1) Coffee, a dataset containing humans' code edit traces for coding questions and machine-written feedback for editing erroneous code; (2) CoffeeEval, a reward function that faithfully reflects the helpfulness of feedback by assessing the performance of the revised code in unit tests. With them, Coffee-Gym addresses the unavailability of high-quality datasets for training feedback models with RL, and provides more accurate rewards than the SOTA reward model (i.e., GPT-4). By applying Coffee-Gym, we elicit feedback models that outperform baselines in enhancing open-source code LLMs' code editing, making them comparable with closed-source LLMs. We make the dataset and the model checkpoint publicly available.