ChatCoder: 채팅 기반 요구사항 개선이 대형 언어 모델의 코드 생성 능력을 향상시킨다

초록

대형 언어 모델은 인간의 요구사항을 충족시키는 코드 생성에서 우수한 성능을 보여왔습니다. 그러나 자연어로 표현된 인간의 요구사항은 모호하고, 불완전하며, 애매할 수 있어 대형 언어 모델이 인간의 요구사항을 오해하고 실수를 저지르는 경우가 있습니다. 더욱 문제는 인간 사용자가 이러한 요구사항을 정제하기 어렵다는 점입니다. 인간 사용자가 요구사항을 정제하고 대형 언어 모델의 코드 생성 성능을 향상시키기 위해, 우리는 ChatCoder를 제안합니다: 대형 언어 모델과의 채팅을 통해 요구사항을 정제하는 방법입니다. 우리는 대형 언어 모델이 인간 사용자에게 요구사항 표현을 더 정확하고, 명확하며, 완전하게 정제하도록 안내하는 채팅 방식을 설계했습니다. 실험 결과, ChatCoder는 기존 대형 언어 모델의 성능을 크게 향상시켰습니다. 또한, ChatCoder는 정제 기반 방법과 인간 응답을 통해 미세 조정된 대형 언어 모델에 비해 장점을 가지고 있습니다.

English

Large language models have shown good performances in generating code to meet human requirements. However, human requirements expressed in natural languages can be vague, incomplete, and ambiguous, leading large language models to misunderstand human requirements and make mistakes. Worse, it is difficult for a human user to refine the requirement. To help human users refine their requirements and improve large language models' code generation performances, we propose ChatCoder: a method to refine the requirements via chatting with large language models. We design a chat scheme in which the large language models will guide the human users to refine their expression of requirements to be more precise, unambiguous, and complete than before. Experiments show that ChatCoder has improved existing large language models' performance by a large margin. Besides, ChatCoder has the advantage over refine-based methods and LLMs fine-tuned via human response.

ChatCoder: 채팅 기반 요구사항 개선이 대형 언어 모델의 코드 생성 능력을 향상시킨다

ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation

초록

Support