CODESIM: Generación de Código Multiagente y Resolución de Problemas a través de Planificación y Depuración Guiadas por Simulación.

CODESIM: Multi-Agent Code Generation and Problem Solving through Simulation-Driven Planning and Debugging

February 8, 2025

Autores: Md. Ashraful Islam, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Tamaño (LLMs) han logrado avances significativos en la generación de código y resolución de problemas. Los enfoques actuales emplean depuradores iterativos basados en herramientas externas que utilizan retroalimentación en tiempo de ejecución basada en compilador u otras herramientas para refinar programas generados de manera rudimentaria por diversos métodos. Sin embargo, la efectividad de estos enfoques depende en gran medida de la calidad de la generación inicial de código, lo cual sigue siendo un desafío abierto. En este documento, presentamos CodeSim, un novedoso marco de generación de código multiagente que aborda de manera integral las etapas de síntesis de programas: planificación, codificación y depuración, a través de un enfoque de percepción similar al humano. Al igual que los humanos verifican su comprensión de cualquier algoritmo a través de simulaciones visuales, CodeSim presenta de manera única un método de verificación de planes y depuración interna mediante la simulación paso a paso de entrada/salida. Experimentos extensos en siete desafiantes bancos de pruebas de resolución de problemas y síntesis de programas demuestran las notables capacidades de generación de código de CodeSim. Nuestro marco logra nuevos resultados de vanguardia (pase@1): (HumanEval 95.1%, MBPP 90.7%, APPS 22% y CodeContests 29.1%). Además, nuestro método muestra potencial para una mejora aún mayor cuando se combina con depuradores externos. Para facilitar la investigación y desarrollo adicionales en esta área, hemos hecho de código abierto nuestro marco en el siguiente enlace (https://kagnlp.github.io/codesim.github.io/).

English

Large Language Models (LLMs) have made significant strides in code generation and problem solving. Current approaches employ external tool-based iterative debuggers that use compiler or other tool-based runtime feedback to refine coarse programs generated by various methods. However, the effectiveness of these approaches heavily relies on the quality of the initial code generation, which remains an open challenge. In this paper, we introduce CodeSim, a novel multi-agent code generation framework that comprehensively addresses the stages of program synthesis-planning, coding, and debugging-through a human-like perception approach. As human verifies their understanding of any algorithms through visual simulation, CodeSim uniquely features a method of plan verification and internal debugging through the step-by-step simulation of input/output. Extensive experiments across seven challenging competitive problem-solving and program synthesis benchmarks demonstrate CodeSim's remarkable code generation capabilities. Our framework achieves new state-of-the-art (pass@1) results-(HumanEval 95.1%, MBPP 90.7%, APPS 22%, and CodeContests 29.1%). Furthermore, our method shows potential for even greater enhancement when cascaded with external debuggers. To facilitate further research and development in this area, we have open-sourced our framework in this link (https://kagnlp.github.io/codesim.github.io/).