Buscador: Hacia la generación de código con seguridad de excepciones con el marco de agentes de lenguaje intermedio

Seeker: Towards Exception Safety Code Generation with Intermediate Language Agents Framework

December 16, 2024

Autores: Xuanming Zhang, Yuxuan Chen, Yiming Zheng, Zhexin Zhang, Yuan Yuan, Minlie Huang

cs.AI

Resumen

En el desarrollo de software del mundo real, un manejo incorrecto o la ausencia de manejo de excepciones puede afectar gravemente la solidez y confiabilidad del código. Los mecanismos de manejo de excepciones requieren que los desarrolladores detecten, capturen y gestionen excepciones según altos estándares, pero muchos desarrolladores tienen dificultades con estas tareas, lo que resulta en un código frágil. Este problema es particularmente evidente en proyectos de código abierto y afecta la calidad general del ecosistema de software. Para abordar este desafío, exploramos el uso de modelos de lenguaje grandes (LLMs) para mejorar el manejo de excepciones en el código. A través de un análisis exhaustivo, identificamos tres problemas clave: Detección Insensible de Código Frágil, Captura Inexacta del Bloque de Excepción y Solución de Manejo Distorsionada. Estos problemas son generalizados en repositorios del mundo real, lo que sugiere que a menudo se pasan por alto o se manejan incorrectamente las prácticas sólidas de manejo de excepciones. En respuesta, proponemos Seeker, un marco multiagente inspirado en estrategias de desarrolladores expertos para el manejo de excepciones. Seeker utiliza agentes: Escáner, Detector, Depredador, Clasificador y Manejador para ayudar a los LLMs a detectar, capturar y resolver excepciones de manera más efectiva. Nuestro trabajo es el primer estudio sistemático sobre cómo aprovechar los LLMs para mejorar las prácticas de manejo de excepciones en escenarios reales de desarrollo, proporcionando ideas valiosas para futuras mejoras en la confiabilidad del código.

English

In real world software development, improper or missing exception handling can severely impact the robustness and reliability of code. Exception handling mechanisms require developers to detect, capture, and manage exceptions according to high standards, but many developers struggle with these tasks, leading to fragile code. This problem is particularly evident in open-source projects and impacts the overall quality of the software ecosystem. To address this challenge, we explore the use of large language models (LLMs) to improve exception handling in code. Through extensive analysis, we identify three key issues: Insensitive Detection of Fragile Code, Inaccurate Capture of Exception Block, and Distorted Handling Solution. These problems are widespread across real world repositories, suggesting that robust exception handling practices are often overlooked or mishandled. In response, we propose Seeker, a multi-agent framework inspired by expert developer strategies for exception handling. Seeker uses agents: Scanner, Detector, Predator, Ranker, and Handler to assist LLMs in detecting, capturing, and resolving exceptions more effectively. Our work is the first systematic study on leveraging LLMs to enhance exception handling practices in real development scenarios, providing valuable insights for future improvements in code reliability.