ChatCoder: El refinamiento de requisitos basado en chat mejora la generación de código en modelos de lenguaje grandes

ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation

November 1, 2023

Autores: Zejun Wang, Jia Li, Ge Li, Zhi Jin

cs.AI

Resumen

Los grandes modelos de lenguaje han demostrado un buen rendimiento en la generación de código para cumplir con los requisitos humanos. Sin embargo, los requisitos humanos expresados en lenguajes naturales pueden ser vagos, incompletos y ambiguos, lo que lleva a los grandes modelos de lenguaje a malinterpretar los requisitos humanos y cometer errores. Peor aún, es difícil para un usuario humano refinar el requisito. Para ayudar a los usuarios humanos a refinar sus requisitos y mejorar el rendimiento de los grandes modelos de lenguaje en la generación de código, proponemos ChatCoder: un método para refinar los requisitos mediante el chat con grandes modelos de lenguaje. Diseñamos un esquema de chat en el que los grandes modelos de lenguaje guiarán a los usuarios humanos para refinar su expresión de requisitos, haciéndolos más precisos, inequívocos y completos que antes. Los experimentos muestran que ChatCoder ha mejorado significativamente el rendimiento de los grandes modelos de lenguaje existentes. Además, ChatCoder tiene ventajas sobre los métodos basados en refinamiento y los grandes modelos de lenguaje ajustados mediante respuestas humanas.

English

Large language models have shown good performances in generating code to meet human requirements. However, human requirements expressed in natural languages can be vague, incomplete, and ambiguous, leading large language models to misunderstand human requirements and make mistakes. Worse, it is difficult for a human user to refine the requirement. To help human users refine their requirements and improve large language models' code generation performances, we propose ChatCoder: a method to refine the requirements via chatting with large language models. We design a chat scheme in which the large language models will guide the human users to refine their expression of requirements to be more precise, unambiguous, and complete than before. Experiments show that ChatCoder has improved existing large language models' performance by a large margin. Besides, ChatCoder has the advantage over refine-based methods and LLMs fine-tuned via human response.