ChatCoder: Il perfezionamento dei requisiti basato su chat migliora la generazione di codice da parte dei modelli linguistici di grandi dimensioni (LLM)

ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation

November 1, 2023

Autori: Zejun Wang, Jia Li, Ge Li, Zhi Jin

cs.AI

Abstract

I grandi modelli linguistici hanno dimostrato buone prestazioni nella generazione di codice per soddisfare i requisiti umani. Tuttavia, i requisiti umani espressi in linguaggio naturale possono essere vaghi, incompleti e ambigui, portando i grandi modelli linguistici a fraintendere i requisiti umani e a commettere errori. Peggio ancora, è difficile per un utente umano affinare il requisito. Per aiutare gli utenti umani a perfezionare i loro requisiti e migliorare le prestazioni di generazione del codice dei grandi modelli linguistici, proponiamo ChatCoder: un metodo per affinare i requisiti attraverso il dialogo con i grandi modelli linguistici. Progettiamo uno schema di chat in cui i grandi modelli linguistici guideranno gli utenti umani a perfezionare l'espressione dei loro requisiti, rendendola più precisa, non ambigua e completa rispetto a prima. Gli esperimenti dimostrano che ChatCoder ha migliorato in modo significativo le prestazioni dei grandi modelli linguistici esistenti. Inoltre, ChatCoder presenta vantaggi rispetto ai metodi basati sull'affinamento e ai grandi modelli linguistici ottimizzati tramite risposte umane.

English

Large language models have shown good performances in generating code to meet human requirements. However, human requirements expressed in natural languages can be vague, incomplete, and ambiguous, leading large language models to misunderstand human requirements and make mistakes. Worse, it is difficult for a human user to refine the requirement. To help human users refine their requirements and improve large language models' code generation performances, we propose ChatCoder: a method to refine the requirements via chatting with large language models. We design a chat scheme in which the large language models will guide the human users to refine their expression of requirements to be more precise, unambiguous, and complete than before. Experiments show that ChatCoder has improved existing large language models' performance by a large margin. Besides, ChatCoder has the advantage over refine-based methods and LLMs fine-tuned via human response.