AlphaResearch: Beschleunigung der Entdeckung neuer Algorithmen mit Sprachmodellen
AlphaResearch: Accelerating New Algorithm Discovery with Language Models
November 11, 2025
papers.authors: Zhaojian Yu, Kaiyue Feng, Yilun Zhao, Shilin He, Xiao-Ping Zhang, Arman Cohan
cs.AI
papers.abstract
Große Sprachmodelle haben bedeutende Fortschritte bei komplexen, aber einfach verifizierbaren Problemen erzielt, kämpfen jedoch nach wie vor mit der Entdeckung des Unbekannten. In diesem Artikel stellen wir AlphaResearch vor, einen autonomen Forschungsagenten, der darauf ausgelegt ist, neue Algorithmen für offene Probleme zu entdecken. Um die Machbarkeit und Innovation des Entdeckungsprozesses zu synergisieren, konstruieren wir eine neuartige duale Forschungsumgebung, indem wir die ausführungsbasierte Verifikation mit einer simulierten Peer-Review-Umgebung der realen Welt kombinieren. AlphaResearch entdeckt neue Algorithmen durch iteratives Durchlaufen der folgenden Schritte: (1) Neue Ideen vorschlagen, (2) Die Ideen in der dualen Forschungsumgebung verifizieren, (3) Die Forschungsvorschläge für eine bessere Leistung optimieren. Um einen transparenten Evaluierungsprozess zu fördern, entwickeln wir AlphaResearchComp, einen neuen Evaluierungsbenchmark, der einen Wettbewerb mit acht offenen algorithmischen Problemen umfasst. Jedes Problem wurde sorgfältig kuratiert und durch ausführbare Pipelines, objektive Metriken und Reproduzierbarkeitsprüfungen verifiziert. AlphaResearch erzielt eine Win-Rate von 2/8 im direkten Vergleich mit menschlichen Forschern, was die Möglichkeit beschleunigter Algorithmenentdeckung mit LLMs demonstriert. Bemerkenswerterweise erreicht der von AlphaResearch für das „Kreise packen“-Problem entdeckte Algorithmus die beste bekannte Leistung und übertrifft damit die Ergebnisse menschlicher Forscher sowie starke Baselines aus aktuellen Arbeiten (z.B. AlphaEvolve). Zusätzlich führen wir eine umfassende Analyse der verbleibenden Herausforderungen in den 6/8 Fehlschlägen durch, die wertvolle Einblicke für zukünftige Forschung bietet.
English
Large language models have made significant progress in complex but easy-to-verify problems, yet they still struggle with discovering the unknown. In this paper, we present AlphaResearch, an autonomous research agent designed to discover new algorithms on open-ended problems. To synergize the feasibility and innovation of the discovery process, we construct a novel dual research environment by combining the execution-based verify and simulated real-world peer review environment. AlphaResearch discovers new algorithm by iteratively running the following steps: (1) propose new ideas (2) verify the ideas in the dual research environment (3) optimize the research proposals for better performance. To promote a transparent evaluation process, we construct AlphaResearchComp, a new evaluation benchmark that includes an eight open-ended algorithmic problems competition, with each problem carefully curated and verified through executable pipelines, objective metrics, and reproducibility checks. AlphaResearch gets a 2/8 win rate in head-to-head comparison with human researchers, demonstrate the possibility of accelerating algorithm discovery with LLMs. Notably, the algorithm discovered by AlphaResearch on the ``packing circles'' problem achieves the best-of-known performance, surpassing the results of human researchers and strong baselines from recent work (e.g., AlphaEvolve). Additionally, we conduct a comprehensive analysis of the remaining challenges of the 6/8 failure cases, providing valuable insights for future research.