ChatCoder : L'affinement des exigences par chat améliore la génération de code par les grands modèles de langage

ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation

November 1, 2023

Auteurs: Zejun Wang, Jia Li, Ge Li, Zhi Jin

cs.AI

Résumé

Les grands modèles de langage ont démontré de bonnes performances dans la génération de code pour répondre aux exigences humaines. Cependant, les exigences humaines exprimées en langage naturel peuvent être vagues, incomplètes et ambiguës, ce qui amène les grands modèles de langage à mal interpréter ces exigences et à commettre des erreurs. Pire encore, il est difficile pour un utilisateur humain d'affiner ces exigences. Pour aider les utilisateurs humains à affiner leurs exigences et améliorer les performances des grands modèles de langage en matière de génération de code, nous proposons ChatCoder : une méthode pour affiner les exigences via un dialogue avec les grands modèles de langage. Nous concevons un schéma de dialogue dans lequel les grands modèles de langage guideront les utilisateurs humains pour affiner l'expression de leurs exigences, les rendant ainsi plus précises, non ambiguës et complètes qu'auparavant. Les expériences montrent que ChatCoder a considérablement amélioré les performances des grands modèles de langage existants. De plus, ChatCoder présente des avantages par rapport aux méthodes basées sur l'affinement et aux grands modèles de langage affinés via des réponses humaines.

English

Large language models have shown good performances in generating code to meet human requirements. However, human requirements expressed in natural languages can be vague, incomplete, and ambiguous, leading large language models to misunderstand human requirements and make mistakes. Worse, it is difficult for a human user to refine the requirement. To help human users refine their requirements and improve large language models' code generation performances, we propose ChatCoder: a method to refine the requirements via chatting with large language models. We design a chat scheme in which the large language models will guide the human users to refine their expression of requirements to be more precise, unambiguous, and complete than before. Experiments show that ChatCoder has improved existing large language models' performance by a large margin. Besides, ChatCoder has the advantage over refine-based methods and LLMs fine-tuned via human response.