ChatCoder: Уточнение требований через чат улучшает генерацию кода в больших языковых моделях

ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation

November 1, 2023

Авторы: Zejun Wang, Jia Li, Ge Li, Zhi Jin

cs.AI

Аннотация

Крупные языковые модели продемонстрировали высокую эффективность в генерации кода, соответствующего требованиям человека. Однако требования, выраженные на естественном языке, могут быть расплывчатыми, неполными и неоднозначными, что приводит к тому, что крупные языковые модели неправильно понимают запросы и допускают ошибки. Более того, пользователю сложно уточнить свои требования. Чтобы помочь пользователям уточнить их запросы и повысить качество генерации кода крупными языковыми моделями, мы предлагаем ChatCoder: метод уточнения требований через диалог с крупными языковыми моделями. Мы разработали схему общения, в которой языковые модели направляют пользователей, помогая им формулировать требования более точно, однозначно и полно. Эксперименты показывают, что ChatCoder значительно улучшает производительность существующих крупных языковых моделей. Кроме того, ChatCoder превосходит методы, основанные на уточнении, и языковые модели, доработанные с использованием человеческих ответов.

English

Large language models have shown good performances in generating code to meet human requirements. However, human requirements expressed in natural languages can be vague, incomplete, and ambiguous, leading large language models to misunderstand human requirements and make mistakes. Worse, it is difficult for a human user to refine the requirement. To help human users refine their requirements and improve large language models' code generation performances, we propose ChatCoder: a method to refine the requirements via chatting with large language models. We design a chat scheme in which the large language models will guide the human users to refine their expression of requirements to be more precise, unambiguous, and complete than before. Experiments show that ChatCoder has improved existing large language models' performance by a large margin. Besides, ChatCoder has the advantage over refine-based methods and LLMs fine-tuned via human response.