ChatCoder: Chat-gebaseerde verfijning van vereisten verbetert codegeneratie door grote taalmodellen

ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation

November 1, 2023

Auteurs: Zejun Wang, Jia Li, Ge Li, Zhi Jin

cs.AI

Samenvatting

Grote taalmodellen hebben goede prestaties getoond in het genereren van code om aan menselijke vereisten te voldoen. Menselijke vereisten die in natuurlijke taal worden uitgedrukt, kunnen echter vaag, onvolledig en dubbelzinnig zijn, wat ertoe leidt dat grote taalmodellen menselijke vereisten verkeerd interpreteren en fouten maken. Ergerniswekkender is dat het voor een menselijke gebruiker moeilijk is om de vereisten te verfijnen. Om menselijke gebruikers te helpen hun vereisten te verfijnen en de prestaties van grote taalmodellen bij het genereren van code te verbeteren, stellen we ChatCoder voor: een methode om de vereisten te verfijnen door te chatten met grote taalmodellen. We ontwerpen een chatschema waarin de grote taalmodellen de menselijke gebruikers begeleiden om hun uitdrukking van vereisten nauwkeuriger, ondubbelzinniger en vollediger te maken dan voorheen. Experimenten tonen aan dat ChatCoder de prestaties van bestaande grote taalmodellen aanzienlijk heeft verbeterd. Bovendien heeft ChatCoder een voordeel ten opzichte van verfijningsgebaseerde methoden en taalmodellen die zijn afgestemd via menselijke reacties.

English

Large language models have shown good performances in generating code to meet human requirements. However, human requirements expressed in natural languages can be vague, incomplete, and ambiguous, leading large language models to misunderstand human requirements and make mistakes. Worse, it is difficult for a human user to refine the requirement. To help human users refine their requirements and improve large language models' code generation performances, we propose ChatCoder: a method to refine the requirements via chatting with large language models. We design a chat scheme in which the large language models will guide the human users to refine their expression of requirements to be more precise, unambiguous, and complete than before. Experiments show that ChatCoder has improved existing large language models' performance by a large margin. Besides, ChatCoder has the advantage over refine-based methods and LLMs fine-tuned via human response.