AlphaResearch: Ускорение открытия новых алгоритмов с помощью языковых моделей
AlphaResearch: Accelerating New Algorithm Discovery with Language Models
November 11, 2025
Авторы: Zhaojian Yu, Kaiyue Feng, Yilun Zhao, Shilin He, Xiao-Ping Zhang, Arman Cohan
cs.AI
Аннотация
Крупные языковые модели достигли значительного прогресса в решении сложных, но легко проверяемых задач, однако по-прежнему испытывают трудности с открытием неизвестного. В данной статье мы представляем AlphaResearch — автономного исследовательского агента, предназначенного для открытия новых алгоритмов в условиях открытых проблем. Для синергии осуществимости и инновационности процесса открытия мы создаем новую двойную исследовательскую среду, объединяя исполняемую проверку (execution-based verify) и смоделированную среду реального рецензирования. AlphaResearch открывает новые алгоритмы путем итеративного выполнения следующих шагов: (1) предложение новых идей, (2) проверка идей в двойной исследовательской среде, (3) оптимизация исследовательских предложений для повышения производительности. Для обеспечения прозрачности процесса оценки мы создали AlphaResearchComp — новый оценочный бенчмарк, включающий конкурс по восьми открытым алгоритмическим проблемам, где каждая задача тщательно отобрана и проверена через исполняемые конвейеры, объективные метрики и проверки воспроизводимости. AlphaResearch демонстрирует показатель побед 2/8 в прямом сравнении с исследователями-людьми, что подтверждает возможность ускорения открытия алгоритмов с помощью LLM. Примечательно, что алгоритм, открытый AlphaResearch для задачи «упаковки кругов», демонстрирует наилучшую из известных производительность, превосходя результаты человеческих исследователей и сильные базовые линии из recent работ (например, AlphaEvolve). Кроме того, мы проводим комплексный анализ оставшихся проблем в 6/8 случаях неудач, предоставляя ценные инсайты для будущих исследований.
English
Large language models have made significant progress in complex but easy-to-verify problems, yet they still struggle with discovering the unknown. In this paper, we present AlphaResearch, an autonomous research agent designed to discover new algorithms on open-ended problems. To synergize the feasibility and innovation of the discovery process, we construct a novel dual research environment by combining the execution-based verify and simulated real-world peer review environment. AlphaResearch discovers new algorithm by iteratively running the following steps: (1) propose new ideas (2) verify the ideas in the dual research environment (3) optimize the research proposals for better performance. To promote a transparent evaluation process, we construct AlphaResearchComp, a new evaluation benchmark that includes an eight open-ended algorithmic problems competition, with each problem carefully curated and verified through executable pipelines, objective metrics, and reproducibility checks. AlphaResearch gets a 2/8 win rate in head-to-head comparison with human researchers, demonstrate the possibility of accelerating algorithm discovery with LLMs. Notably, the algorithm discovered by AlphaResearch on the ``packing circles'' problem achieves the best-of-known performance, surpassing the results of human researchers and strong baselines from recent work (e.g., AlphaEvolve). Additionally, we conduct a comprehensive analysis of the remaining challenges of the 6/8 failure cases, providing valuable insights for future research.