Verbale Procesbegeleiding Leidt tot Betere Codeeragentschappen

Verbal Process Supervision Elicits Better Coding Agents

March 24, 2025

Auteurs: Hao-Yuan Chen, Cheng-Pong Huang, Jui-Ming Yao

cs.AI

Samenvatting

De opkomst van grote taalmodellen en hun toepassingen als AI-agenten hebben de state-of-the-art benchmarks voor codegeneratie aanzienlijk vooruitgeholpen, waardoor moderne software-engineeringtaken zijn getransformeerd. Echter, zelfs met testtijd-berekende redeneermodellen worstelen deze systemen nog steeds met complexe software-engineeringuitdagingen. Dit werk introduceert CURA, een codebegrip- en redeneeragentsysteem versterkt met verbale procesbegeleiding (VPS), dat een verbetering van 3,65% behaalt ten opzichte van basismodellen op uitdagende benchmarks zoals BigCodeBench. Bovendien bereikt CURA, in combinatie met het o3-mini-model en VPS-technieken, state-of-the-art prestaties. Dit werk vertegenwoordigt een stap voorwaarts in de integratie van redeneringsgedreven architecturen met op LLM gebaseerde codegeneratie, waardoor taalmodellen in staat worden gesteld om via agentisch redeneren complexe software-engineeringtaken op te lossen.

English

The emergence of large language models and their applications as AI agents have significantly advanced state-of-the-art code generation benchmarks, transforming modern software engineering tasks. However, even with test-time computed reasoning models, these systems still struggle with complex software engineering challenges. This work introduces CURA, a code understanding and reasoning agent system enhanced with verbal process supervision (VPS), achieving a 3.65\% improvement over baseline models on challenging benchmarks like BigCodeBench. Furthermore, CURA, when paired with the o3-mini model and VPS techniques, attains state-of-the-art performance. This work represents a step forward in integrating reasoning-driven architectures with LLM-based code generation, enabling agentic reasoning for language models to solve complex software engineering tasks.