Могут ли языковые модели заменить программистов? REPOCOD говорит, что "пока нет".

Can Language Models Replace Programmers? REPOCOD Says 'Not Yet'

October 29, 2024

Авторы: Shanchao Liang, Yiran Hu, Nan Jiang, Lin Tan

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали выдающуюся способность к генерации кода с более чем 90% успешных решений на Python в задачах кодирования HumanEval и MBPP. Такая высокая точность порождает вопрос: могут ли LLM заменить человеческих программистов? Существующие ручные, простые или однострочные бенчмарки генерации кода не могут ответить на этот вопрос из-за разрыва с реальной разработкой программного обеспечения. Для ответа на этот вопрос мы предлагаем REPOCOD, бенчмарк генерации кода с 980 задачами, собранными из 11 популярных проектов реального мира, более 58% из которых требуют информации на уровне файла или репозитория. Кроме того, REPOCOD имеет самую длинную среднюю длину канонического решения (331,6 токенов) и самую высокую среднюю цикломатическую сложность (9,00) по сравнению с существующими бенчмарками. В наших оценках на десяти LLM ни одна из моделей не смогла достичь более 30% успешных решений на REPOCOD, что подчеркивает необходимость создания более мощных LLM, способных помочь разработчикам в реальной разработке программного обеспечения.

English

Large language models (LLMs) have shown remarkable ability in code generation with more than 90 pass@1 in solving Python coding problems in HumanEval and MBPP. Such high accuracy leads to the question: can LLMs replace human programmers? Existing manual crafted, simple, or single-line code generation benchmarks cannot answer this question due to their gap with real-world software development. To answer this question, we propose REPOCOD, a code generation benchmark with 980 problems collected from 11 popular real-world projects, with more than 58% of them requiring file-level or repository-level context information. In addition, REPOCOD has the longest average canonical solution length (331.6 tokens) and the highest average cyclomatic complexity (9.00) compared to existing benchmarks. In our evaluations on ten LLMs, none of the models can achieve more than 30 pass@1 on REPOCOD, disclosing the necessity of building stronger LLMs that can help developers in real-world software development.