Оценка и выравнивание CodeLLM с учетом предпочтений человека

Evaluating and Aligning CodeLLMs on Human Preference

December 6, 2024

Авторы: Jian Yang, Jiaxi Yang, Ke Jin, Yibo Miao, Lei Zhang, Liqun Yang, Zeyu Cui, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

Аннотация

Большие языковые модели кода (codeLLM) сделали значительные успехи в генерации кода. Большинство предыдущих бенчмарков, связанных с кодом и состоящих из различных программных упражнений вместе с соответствующими тестовыми случаями, используются в качестве общей меры для оценки производительности и возможностей моделей codeLLM. Однако текущие модели codeLLM сосредотачиваются на синтезе правильного фрагмента кода, игнорируя соответствие человеческим предпочтениям, где запрос должен быть выбран из практических сценариев применения, а ответы, сгенерированные моделью, должны удовлетворять человеческие предпочтения. Для сокращения разрыва между ответом, сгенерированным моделью, и человеческими предпочтениями, мы представляем строго отобранный бенчмарк CodeArena для имитации сложности и разнообразия задач реального мира, где 397 высококачественных образцов, охватывающих 40 категорий и 44 языка программирования, тщательно подобраны из запросов пользователей. Кроме того, мы предлагаем разнообразный синтетический корпус инструкций SynCode-Instruct (почти 20 млрд токенов), масштабируя инструкции с веб-сайта для проверки эффективности настройки крупномасштабной синтетической инструкции, где Qwen2.5-SynCoder, полностью обученный на данных синтетических инструкций, может достичь высокой производительности среди открытых моделей codeLLM. Результаты показывают различия в производительности между бенчмарками на основе выполнения и CodeArena. Наши систематические эксперименты с CodeArena на 40+ моделях codeLLM выявляют значительный разрыв в производительности между открытыми передовыми моделями codeLLM (например, Qwen2.5-Coder) и закрытыми моделями codeLLM (например, OpenAI o1), подчеркивая важность соответствия человеческим предпочтениям. [Ссылка](https://codearenaeval.github.io/)

English

Code large language models (codeLLMs) have made significant strides in code generation. Most previous code-related benchmarks, which consist of various programming exercises along with the corresponding test cases, are used as a common measure to evaluate the performance and capabilities of code LLMs. However, the current code LLMs focus on synthesizing the correct code snippet, ignoring the alignment with human preferences, where the query should be sampled from the practical application scenarios and the model-generated responses should satisfy the human preference. To bridge the gap between the model-generated response and human preference, we present a rigorous human-curated benchmark CodeArena to emulate the complexity and diversity of real-world coding tasks, where 397 high-quality samples spanning 40 categories and 44 programming languages, carefully curated from user queries. Further, we propose a diverse synthetic instruction corpus SynCode-Instruct (nearly 20B tokens) by scaling instructions from the website to verify the effectiveness of the large-scale synthetic instruction fine-tuning, where Qwen2.5-SynCoder totally trained on synthetic instruction data can achieve top-tier performance of open-source code LLMs. The results find performance differences between execution-based benchmarks and CodeArena. Our systematic experiments of CodeArena on 40+ LLMs reveal a notable performance gap between open SOTA code LLMs (e.g. Qwen2.5-Coder) and proprietary LLMs (e.g., OpenAI o1), underscoring the importance of the human preference alignment.\url{https://codearenaeval.github.io/ }