ChatCoder: Refinamento de Requisitos Baseado em Chat Melhora a Geração de Código por LLMs

ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation

November 1, 2023

Autores: Zejun Wang, Jia Li, Ge Li, Zhi Jin

cs.AI

Resumo

Modelos de linguagem de grande escala têm demonstrado bom desempenho na geração de código para atender às necessidades humanas. No entanto, as necessidades humanas expressas em linguagem natural podem ser vagas, incompletas e ambíguas, levando os modelos de linguagem de grande escala a interpretar mal as necessidades humanas e cometer erros. Pior ainda, é difícil para um usuário humano refinar a necessidade. Para ajudar os usuários humanos a refinar suas necessidades e melhorar o desempenho dos modelos de linguagem de grande escala na geração de código, propomos o ChatCoder: um método para refinar as necessidades por meio de conversas com modelos de linguagem de grande escala. Projetamos um esquema de conversa no qual os modelos de linguagem de grande escala guiarão os usuários humanos a refinar a expressão de suas necessidades para que sejam mais precisas, inequívocas e completas do que antes. Experimentos mostram que o ChatCoder melhorou significativamente o desempenho dos modelos de linguagem de grande escala existentes. Além disso, o ChatCoder apresenta vantagens em relação a métodos baseados em refinamento e modelos de linguagem de grande escala ajustados via resposta humana.

English

Large language models have shown good performances in generating code to meet human requirements. However, human requirements expressed in natural languages can be vague, incomplete, and ambiguous, leading large language models to misunderstand human requirements and make mistakes. Worse, it is difficult for a human user to refine the requirement. To help human users refine their requirements and improve large language models' code generation performances, we propose ChatCoder: a method to refine the requirements via chatting with large language models. We design a chat scheme in which the large language models will guide the human users to refine their expression of requirements to be more precise, unambiguous, and complete than before. Experiments show that ChatCoder has improved existing large language models' performance by a large margin. Besides, ChatCoder has the advantage over refine-based methods and LLMs fine-tuned via human response.