알고리즘 코드 최적화를 위한 제어 자기 진화

초록

자기 진화 방법은 "생성-검증-정제"의 반복적 순환을 통해 코드 생성을 향상시키지만, 기존 접근법은 탐색 효율성이 낮아 제한된 예산 내에서 복잡도가 더 높은 솔루션을 발견하지 못한다. 이러한 비효율성은 초기화 편향으로 인해 진화가 열악한 솔루션 영역에 갇히고, 피드백 지도가 없는 통제되지 않은 확률적 연산, 그리고 과제 간 경험 활용 부족에서 비롯된다. 이러한 병목 현상을 해결하기 위해 우리는 세 가지 핵심 구성 요소로 이루어진 제어 자기 진화(CSE)를 제안한다. 다양화 계획 초기화는 광범위한 솔루션 공간 coverage를 위해 구조적으로 구별되는 알고리즘 전략을 생성한다. 유전적 진화는 확률적 연산을 피드백 지도 메커니즘으로 대체하여 표적 변이와 구성적 교차를 가능하게 한다. 계층적 진화 메모리는 과제 간 및 과제 내 수준에서 성공적·실패적 경험을 모두 포착한다. EffiBench-X에 대한 실험 결과, CSE는 다양한 LLM 백본에서 모든 기준 모델을 지속적으로 능가함을 보여준다. 더 나아가 CSE는 초기 세대부터 더 높은 효율성을 달성하고 진화 전 과정에 걸쳐 지속적인 개선을 유지한다. 우리의 코드는 https://github.com/QuantaAlpha/EvoControl에서 공개된다.

English

Self-evolution methods enhance code generation through iterative "generate-verify-refine" cycles, yet existing approaches suffer from low exploration efficiency, failing to discover solutions with superior complexity within limited budgets. This inefficiency stems from initialization bias trapping evolution in poor solution regions, uncontrolled stochastic operations lacking feedback guidance, and insufficient experience utilization across tasks. To address these bottlenecks, we propose Controlled Self-Evolution (CSE), which consists of three key components. Diversified Planning Initialization generates structurally distinct algorithmic strategies for broad solution space coverage. Genetic Evolution replaces stochastic operations with feedback-guided mechanisms, enabling targeted mutation and compositional crossover. Hierarchical Evolution Memory captures both successful and failed experiences at inter-task and intra-task levels. Experiments on EffiBench-X demonstrate that CSE consistently outperforms all baselines across various LLM backbones. Furthermore, CSE achieves higher efficiency from early generations and maintains continuous improvement throughout evolution. Our code is publicly available at https://github.com/QuantaAlpha/EvoControl.

알고리즘 코드 최적화를 위한 제어 자기 진화

Controlled Self-Evolution for Algorithmic Code Optimization

초록

Support