SoTaNa: El Asistente de Desarrollo de Software de Código Abierto
SoTaNa: The Open-Source Software Development Assistant
August 25, 2023
Autores: Ensheng Shi, Fengji Zhang, Yanlin Wang, Bei Chen, Lun Du, Hongyu Zhang, Shi Han, Dongmei Zhang, Hongbin Sun
cs.AI
Resumen
El desarrollo de software desempeña un papel crucial en impulsar la innovación y la eficiencia en las sociedades modernas. Para satisfacer las demandas de este campo dinámico, existe una creciente necesidad de un asistente efectivo para el desarrollo de software. Sin embargo, los modelos de lenguaje grandes existentes, representados por ChatGPT, sufren de accesibilidad limitada, incluyendo datos de entrenamiento y pesos del modelo. Aunque otros modelos grandes de código abierto como LLaMA han mostrado potencial, aún tienen dificultades para comprender la intención humana. En este artículo, presentamos SoTaNa, un asistente de desarrollo de software de código abierto. SoTaNa utiliza ChatGPT para generar datos de alta calidad basados en instrucciones para el dominio de la ingeniería de software y emplea un enfoque de ajuste fino eficiente en parámetros para mejorar el modelo base de código abierto, LLaMA. Evaluamos la efectividad de SoTaNa al responder preguntas de Stack Overflow y demostramos sus capacidades. Además, discutimos sus habilidades en la generación y resumen de código, así como el impacto de variar el volumen de datos generados en el rendimiento del modelo. Notablemente, SoTaNa puede ejecutarse en una sola GPU, lo que lo hace accesible para una gama más amplia de investigadores. Nuestro código, pesos del modelo y datos están disponibles públicamente en https://github.com/DeepSoftwareAnalytics/SoTaNa.
English
Software development plays a crucial role in driving innovation and
efficiency across modern societies. To meet the demands of this dynamic field,
there is a growing need for an effective software development assistant.
However, existing large language models represented by ChatGPT suffer from
limited accessibility, including training data and model weights. Although
other large open-source models like LLaMA have shown promise, they still
struggle with understanding human intent. In this paper, we present SoTaNa, an
open-source software development assistant. SoTaNa utilizes ChatGPT to generate
high-quality instruction-based data for the domain of software engineering and
employs a parameter-efficient fine-tuning approach to enhance the open-source
foundation model, LLaMA. We evaluate the effectiveness of in answering
Stack Overflow questions and demonstrate its capabilities. Additionally, we
discuss its capabilities in code summarization and generation, as well as the
impact of varying the volume of generated data on model performance. Notably,
SoTaNa can run on a single GPU, making it accessible to a broader range of
researchers. Our code, model weights, and data are public at
https://github.com/DeepSoftwareAnalytics/SoTaNa.