CODESIM: Multi-Agent Code Generatie en Probleemoplossing via Simulatiegestuurde Planning en Debugging

CODESIM: Multi-Agent Code Generation and Problem Solving through Simulation-Driven Planning and Debugging

February 8, 2025

Auteurs: Md. Ashraful Islam, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben aanzienlijke vooruitgang geboekt op het gebied van codegeneratie en probleemoplossing. Huidige benaderingen maken gebruik van externe tool-gebaseerde iteratieve debuggers die compiler- of andere tool-gebaseerde runtime feedback gebruiken om ruwe programma's verfijnen die zijn gegenereerd door verschillende methoden. De effectiviteit van deze benaderingen is echter sterk afhankelijk van de kwaliteit van de initiële codegeneratie, wat een open uitdaging blijft. In dit artikel introduceren we CodeSim, een nieuw multi-agent codegeneratiekader dat uitgebreid de fasen van programma synthese - planning, codering en debugging - aanpakt via een menselijke perceptiebenadering. Net zoals mensen hun begrip van algoritmes verifiëren door visuele simulatie, beschikt CodeSim uniek over een methode voor planverificatie en interne debugging door de stapsgewijze simulatie van in- en uitvoer. Uitgebreide experimenten over zeven uitdagende competitieve probleemoplossings- en programma synthese-benchmarks tonen de opmerkelijke codegeneratiecapaciteiten van CodeSim aan. Ons kader behaalt nieuwe state-of-the-art (pass@1) resultaten - (HumanEval 95,1%, MBPP 90,7%, APPS 22% en CodeContests 29,1%). Bovendien toont onze methode potentieel voor nog grotere verbetering wanneer deze wordt gecombineerd met externe debuggers. Om verder onderzoek en ontwikkeling op dit gebied te vergemakkelijken, hebben we ons kader open-source gemaakt via deze link (https://kagnlp.github.io/codesim.github.io/).

English

Large Language Models (LLMs) have made significant strides in code generation and problem solving. Current approaches employ external tool-based iterative debuggers that use compiler or other tool-based runtime feedback to refine coarse programs generated by various methods. However, the effectiveness of these approaches heavily relies on the quality of the initial code generation, which remains an open challenge. In this paper, we introduce CodeSim, a novel multi-agent code generation framework that comprehensively addresses the stages of program synthesis-planning, coding, and debugging-through a human-like perception approach. As human verifies their understanding of any algorithms through visual simulation, CodeSim uniquely features a method of plan verification and internal debugging through the step-by-step simulation of input/output. Extensive experiments across seven challenging competitive problem-solving and program synthesis benchmarks demonstrate CodeSim's remarkable code generation capabilities. Our framework achieves new state-of-the-art (pass@1) results-(HumanEval 95.1%, MBPP 90.7%, APPS 22%, and CodeContests 29.1%). Furthermore, our method shows potential for even greater enhancement when cascaded with external debuggers. To facilitate further research and development in this area, we have open-sourced our framework in this link (https://kagnlp.github.io/codesim.github.io/).