Enfoque: Mejorando el Manejo de Excepciones en Código con un Enfoque Multiagente basado en LLM

Seeker: Enhancing Exception Handling in Code with LLM-based Multi-Agent Approach

October 9, 2024

Autores: Xuanming Zhang, Yuxuan Chen, Yuan Yuan, Minlie Huang

cs.AI

Resumen

En el desarrollo de software del mundo real, un manejo incorrecto o la ausencia de manejo de excepciones pueden impactar severamente la robustez y confiabilidad del código. Los mecanismos de manejo de excepciones requieren que los desarrolladores detecten, capturen y gestionen excepciones según estándares elevados, pero muchos desarrolladores tienen dificultades con estas tareas, lo que resulta en un código frágil. Este problema es particularmente evidente en proyectos de código abierto y afecta la calidad general del ecosistema de software. Para abordar este desafío, exploramos el uso de grandes modelos de lenguaje (LLMs, por sus siglas en inglés) para mejorar el manejo de excepciones en el código. A través de un análisis extenso, identificamos tres problemas clave: Detección Insensible de Código Frágil, Captura Inexacta de Tipos de Excepción y Soluciones de Manejo Distorsionadas. Estos problemas son comunes en repositorios del mundo real, lo que sugiere que las prácticas robustas de manejo de excepciones a menudo son pasadas por alto o mal gestionadas. En respuesta, proponemos Seeker, un marco de trabajo multiagente inspirado en estrategias de desarrolladores expertos para el manejo de excepciones. Seeker utiliza agentes: Escáner, Detector, Depredador, Clasificador y Manejador para ayudar a los LLMs a detectar, capturar y resolver excepciones de manera más efectiva. Nuestro trabajo es el primer estudio sistemático sobre cómo aprovechar los LLMs para mejorar las prácticas de manejo de excepciones, proporcionando ideas valiosas para futuras mejoras en la confiabilidad del código.

English

In real world software development, improper or missing exception handling can severely impact the robustness and reliability of code. Exception handling mechanisms require developers to detect, capture, and manage exceptions according to high standards, but many developers struggle with these tasks, leading to fragile code. This problem is particularly evident in open source projects and impacts the overall quality of the software ecosystem. To address this challenge, we explore the use of large language models (LLMs) to improve exception handling in code. Through extensive analysis, we identify three key issues: Insensitive Detection of Fragile Code, Inaccurate Capture of Exception Types, and Distorted Handling Solutions. These problems are widespread across real world repositories, suggesting that robust exception handling practices are often overlooked or mishandled. In response, we propose Seeker, a multi agent framework inspired by expert developer strategies for exception handling. Seeker uses agents: Scanner, Detector, Predator, Ranker, and Handler to assist LLMs in detecting, capturing, and resolving exceptions more effectively. Our work is the first systematic study on leveraging LLMs to enhance exception handling practices, providing valuable insights for future improvements in code reliability.