Suchender: Auf dem Weg zur Codegenerierung mit Ausnahme-Sicherheit mithilfe des Frameworks für Zwischensprachen-Agenten

Seeker: Towards Exception Safety Code Generation with Intermediate Language Agents Framework

December 16, 2024

Autoren: Xuanming Zhang, Yuxuan Chen, Yiming Zheng, Zhexin Zhang, Yuan Yuan, Minlie Huang

cs.AI

Zusammenfassung

In der Softwareentwicklung der realen Welt können falsche oder fehlende Ausnahmebehandlungen die Robustheit und Zuverlässigkeit des Codes erheblich beeinträchtigen. Mechanismen zur Ausnahmebehandlung erfordern von Entwicklern, Ausnahmen gemäß hoher Standards zu erkennen, zu erfassen und zu verwalten, doch viele Entwickler haben Schwierigkeiten mit diesen Aufgaben, was zu fragilen Codes führt. Dieses Problem ist besonders in Open-Source-Projekten offensichtlich und beeinflusst die Gesamtqualität des Software-Ökosystems. Um dieser Herausforderung zu begegnen, untersuchen wir den Einsatz großer Sprachmodelle (LLMs) zur Verbesserung der Ausnahmebehandlung im Code. Durch umfangreiche Analysen identifizieren wir drei Schlüsselprobleme: Unempfindliche Erkennung von fragilen Codes, ungenaue Erfassung des Ausnahmeblocks und verzerrte Lösungen bei der Behandlung. Diese Probleme sind in realen Repositories weit verbreitet, was darauf hindeutet, dass robuste Praktiken bei der Ausnahmebehandlung oft übersehen oder falsch gehandhabt werden. Als Antwort schlagen wir Seeker vor, ein Multi-Agenten-Framework, das von Strategien erfahrener Entwickler für die Ausnahmebehandlung inspiriert ist. Seeker verwendet Agenten: Scanner, Detector, Predator, Ranker und Handler, um LLMs dabei zu unterstützen, Ausnahmen effektiver zu erkennen, zu erfassen und zu lösen. Unsere Arbeit ist die erste systematische Studie zur Nutzung von LLMs zur Verbesserung von Praktiken bei der Ausnahmebehandlung in realen Entwicklungsszenarien und liefert wertvolle Erkenntnisse für zukünftige Verbesserungen in der Code-Zuverlässigkeit.

English

In real world software development, improper or missing exception handling can severely impact the robustness and reliability of code. Exception handling mechanisms require developers to detect, capture, and manage exceptions according to high standards, but many developers struggle with these tasks, leading to fragile code. This problem is particularly evident in open-source projects and impacts the overall quality of the software ecosystem. To address this challenge, we explore the use of large language models (LLMs) to improve exception handling in code. Through extensive analysis, we identify three key issues: Insensitive Detection of Fragile Code, Inaccurate Capture of Exception Block, and Distorted Handling Solution. These problems are widespread across real world repositories, suggesting that robust exception handling practices are often overlooked or mishandled. In response, we propose Seeker, a multi-agent framework inspired by expert developer strategies for exception handling. Seeker uses agents: Scanner, Detector, Predator, Ranker, and Handler to assist LLMs in detecting, capturing, and resolving exceptions more effectively. Our work is the first systematic study on leveraging LLMs to enhance exception handling practices in real development scenarios, providing valuable insights for future improvements in code reliability.