AlphaResearch: 언어 모델을 활용한 신규 알고리즘 발견 가속화

초록

대규모 언어 모델은 복잡하지만 검증이 쉬운 문제에서는 상당한 진전을 보였으나, 여전히 미지의 영역을 발견하는 데는 어려움을 겪고 있습니다. 본 논문에서는 개방형 문제에서 새로운 알고리즘을 발견하도록 설계된 자율 연구 에이전트인 AlphaResearch를 소개합니다. 발견 과정의 실현 가능성과 혁신성을 시너지 효과로 결합하기 위해, 실행 기반 검증 환경과 시뮬레이션된 실세계 동료 검토 환경을 결합한 새로운 이중 연구 환경을 구축했습니다. AlphaResearch는 (1) 새로운 아이디어 제안, (2) 이중 연구 환경에서 아이디어 검증, (3) 더 나은 성능을 위한 연구 제안서 최적화의 단계를 반복적으로 실행하여 새로운 알고리즘을 발견합니다. 투명한 평가 과정을 촉진하기 위해, 8개의 개방형 알고리즘 문제 경쟁을 포함하는 새로운 평가 벤치마크인 AlphaResearchComp를 구축했습니다. 각 문제는 실행 가능한 파이프라인, 객관적 지표, 재현성 검증을 통해 신중하게 선별 및 검증되었습니다. AlphaResearch는 인간 연구자와의 직접 대결에서 2/8의 승률을 기록하여 LLM을 통한 알고리즘 발견 가속화 가능성을 입증했습니다. 특히, '원 채우기' 문제에서 AlphaResearch가 발견한 알고리즘은 인간 연구자들의 결과와 최근 연구(예: AlphaEvolve)의 강력한 베이스라인을 능가하는 가장 우수한 것으로 알려진 성능을 달성했습니다. 또한, 6/8의 실패 사례에 대한 남은 과제들을 종합적으로 분석하여 향후 연구에 유용한 통찰을 제공합니다.

English

Large language models have made significant progress in complex but easy-to-verify problems, yet they still struggle with discovering the unknown. In this paper, we present AlphaResearch, an autonomous research agent designed to discover new algorithms on open-ended problems. To synergize the feasibility and innovation of the discovery process, we construct a novel dual research environment by combining the execution-based verify and simulated real-world peer review environment. AlphaResearch discovers new algorithm by iteratively running the following steps: (1) propose new ideas (2) verify the ideas in the dual research environment (3) optimize the research proposals for better performance. To promote a transparent evaluation process, we construct AlphaResearchComp, a new evaluation benchmark that includes an eight open-ended algorithmic problems competition, with each problem carefully curated and verified through executable pipelines, objective metrics, and reproducibility checks. AlphaResearch gets a 2/8 win rate in head-to-head comparison with human researchers, demonstrate the possibility of accelerating algorithm discovery with LLMs. Notably, the algorithm discovered by AlphaResearch on the ``packing circles'' problem achieves the best-of-known performance, surpassing the results of human researchers and strong baselines from recent work (e.g., AlphaEvolve). Additionally, we conduct a comprehensive analysis of the remaining challenges of the 6/8 failure cases, providing valuable insights for future research.

AlphaResearch: 언어 모델을 활용한 신규 알고리즘 발견 가속화

AlphaResearch: Accelerating New Algorithm Discovery with Language Models

초록

Support