AlphaResearch: Versnelling van nieuwe algoritme-ontdekking met taalmmodellen
AlphaResearch: Accelerating New Algorithm Discovery with Language Models
November 11, 2025
Auteurs: Zhaojian Yu, Kaiyue Feng, Yilun Zhao, Shilin He, Xiao-Ping Zhang, Arman Cohan
cs.AI
Samenvatting
Grote taalmodellen hebben aanzienlijke vooruitgang geboekt bij complexe maar eenvoudig te verifiëren problemen, maar ze worstelen nog steeds met het ontdekken van het onbekende. In dit artikel presenteren we AlphaResearch, een autonome onderzoeksagent die is ontworpen om nieuwe algoritmen te ontdekken voor open-einde problemen. Om de haalbaarheid en innovatie van het ontdekkingstraject te versterken, construeren we een nieuwe duale onderzoeksomgeving door een op uitvoering gebaseerde verificatie te combineren met een gesimuleerde peer review-omgeving uit de echte wereld. AlphaResearch ontdekt nieuwe algoritmen door iteratief de volgende stappen uit te voeren: (1) nieuwe ideeën voorstellen, (2) de ideeën verifiëren in de duale onderzoeksomgeving, en (3) de onderzoeksvoorstellen optimaliseren voor betere prestaties. Om een transparant evaluatieproces te bevorderen, ontwikkelen we AlphaResearchComp, een nieuwe evaluatiestandaard die een wedstrijd omvat met acht open-einde algoritmische problemen. Elk probleem is zorgvuldig samengesteld en geverifieerd via uitvoerbare pijplijnen, objectieve metrieken en reproduceerbaarheidscontroles. AlphaResearch behaalt een winstratio van 2/8 in een rechtstreekse vergelijking met menselijke onderzoekers, wat de mogelijkheid aantoont om algoritme-ontdekking te versnellen met grote taalmodellen. Opmerkelijk is dat het door AlphaResearch ontdekte algoritme voor het "cirkels verpakken"-probleem de best-bekende prestatie bereikt, waarbij het de resultaten van menselijke onderzoekers en sterke baseline-methoden uit recent werk (zoals AlphaEvolve) overtreft. Daarnaast voeren we een uitgebreide analyse uit van de resterende uitdagingen in de 6/8 mislukte gevallen, wat waardevolle inzichten biedt voor toekomstig onderzoek.
English
Large language models have made significant progress in complex but easy-to-verify problems, yet they still struggle with discovering the unknown. In this paper, we present AlphaResearch, an autonomous research agent designed to discover new algorithms on open-ended problems. To synergize the feasibility and innovation of the discovery process, we construct a novel dual research environment by combining the execution-based verify and simulated real-world peer review environment. AlphaResearch discovers new algorithm by iteratively running the following steps: (1) propose new ideas (2) verify the ideas in the dual research environment (3) optimize the research proposals for better performance. To promote a transparent evaluation process, we construct AlphaResearchComp, a new evaluation benchmark that includes an eight open-ended algorithmic problems competition, with each problem carefully curated and verified through executable pipelines, objective metrics, and reproducibility checks. AlphaResearch gets a 2/8 win rate in head-to-head comparison with human researchers, demonstrate the possibility of accelerating algorithm discovery with LLMs. Notably, the algorithm discovered by AlphaResearch on the ``packing circles'' problem achieves the best-of-known performance, surpassing the results of human researchers and strong baselines from recent work (e.g., AlphaEvolve). Additionally, we conduct a comprehensive analysis of the remaining challenges of the 6/8 failure cases, providing valuable insights for future research.