ChatCoder: チャットベースの要求仕様改善がLLMのコード生成を向上させる

ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation

November 1, 2023

著者: Zejun Wang, Jia Li, Ge Li, Zhi Jin

cs.AI

要旨

大規模言語モデルは、人間の要求を満たすコード生成において良好な性能を示しています。しかし、自然言語で表現される人間の要求は曖昧で不完全であり、多義的である場合があり、これにより大規模言語モデルが人間の要求を誤解し、ミスを犯すことがあります。さらに悪いことに、人間のユーザーが要求を洗練することが困難です。人間のユーザーが要求を洗練し、大規模言語モデルのコード生成性能を向上させるために、我々はChatCoderを提案します。これは、大規模言語モデルとチャットすることで要求を洗練する方法です。我々は、大規模言語モデルが人間のユーザーを導き、要求の表現を以前よりも正確で曖昧さがなく、完全なものにするチャットスキームを設計しました。実験の結果、ChatCoderは既存の大規模言語モデルの性能を大幅に向上させることが示されました。さらに、ChatCoderは、洗練ベースの方法や人間の応答を介してファインチューニングされたLLMよりも優位性を持っています。

English

Large language models have shown good performances in generating code to meet human requirements. However, human requirements expressed in natural languages can be vague, incomplete, and ambiguous, leading large language models to misunderstand human requirements and make mistakes. Worse, it is difficult for a human user to refine the requirement. To help human users refine their requirements and improve large language models' code generation performances, we propose ChatCoder: a method to refine the requirements via chatting with large language models. We design a chat scheme in which the large language models will guide the human users to refine their expression of requirements to be more precise, unambiguous, and complete than before. Experiments show that ChatCoder has improved existing large language models' performance by a large margin. Besides, ChatCoder has the advantage over refine-based methods and LLMs fine-tuned via human response.