Вербальный процесс контроля способствует повышению эффективности агентов, занимающихся программированием.

Verbal Process Supervision Elicits Better Coding Agents

March 24, 2025

Авторы: Hao-Yuan Chen, Cheng-Pong Huang, Jui-Ming Yao

cs.AI

Аннотация

Появление крупных языковых моделей и их применение в качестве ИИ-агентов значительно продвинуло современные бенчмарки генерации кода, трансформируя задачи современной разработки программного обеспечения. Однако даже с моделями рассуждений, вычисляемыми во время тестирования, эти системы по-прежнему сталкиваются с трудностями при решении сложных задач в области программной инженерии. В данной работе представлена система CURA — агент для понимания и рассуждения над кодом, улучшенный с помощью вербального процессуального контроля (VPS), который демонстрирует улучшение на 3,65% по сравнению с базовыми моделями на сложных бенчмарках, таких как BigCodeBench. Более того, CURA в сочетании с моделью o3-mini и методами VPS достигает наилучших результатов на сегодняшний день. Эта работа представляет собой шаг вперед в интеграции архитектур, основанных на рассуждениях, с генерацией кода на основе языковых моделей, позволяя языковым моделям использовать агентные рассуждения для решения сложных задач программной инженерии.

English

The emergence of large language models and their applications as AI agents have significantly advanced state-of-the-art code generation benchmarks, transforming modern software engineering tasks. However, even with test-time computed reasoning models, these systems still struggle with complex software engineering challenges. This work introduces CURA, a code understanding and reasoning agent system enhanced with verbal process supervision (VPS), achieving a 3.65\% improvement over baseline models on challenging benchmarks like BigCodeBench. Furthermore, CURA, when paired with the o3-mini model and VPS techniques, attains state-of-the-art performance. This work represents a step forward in integrating reasoning-driven architectures with LLM-based code generation, enabling agentic reasoning for language models to solve complex software engineering tasks.