Bewertungsgesteuerte Skalierung für wissenschaftliche Entdeckungen
Evaluation-driven Scaling for Scientific Discovery
April 21, 2026
Autoren: Haotian Ye, Haowei Lin, Jingyi Tang, Yizhen Luo, Caiyin Yang, Chang Su, Rahul Thapa, Rui Yang, Ruihua Liu, Zeyu Li, Chong Gao, Dachao Ding, Guangrong He, Miaolei Zhang, Lina Sun, Wenyang Wang, Yuchen Zhong, Zhuohao Shen, Di He, Jianzhu Ma, Stefano Ermon, Tongyang Li, Xiaowen Chu, James Zou, Yuzhi Xu
cs.AI
Zusammenfassung
Sprachmodelle werden zunehmend in der wissenschaftlichen Entdeckung eingesetzt, um Hypothesen zu generieren, Lösungsansätze vorzuschlagen, Systeme zu implementieren und diese iterativ zu verbessern. Im Kern dieser Trial-and-Error-Schleifen steht die Evaluation: der Prozess, Feedback zu Lösungsansätzen durch Verifizierer, Simulationen oder aufgabenspezifische Bewertungsfunktionen zu erhalten. Während frühere Arbeiten die Bedeutung der Evaluation hervorgehoben haben, wurde das Problem, wie evaluierungsgesteuerte Entdeckungsschleifen prinzipiell und effektiv skaliert werden können, um die Grenzen der wissenschaftlichen Entdeckung zu erweitern, nicht explizit formuliert – ein Problem, dem sich dieser Beitrag annimmt. Wir stellen Simple Test-time Evaluation-driven Scaling (SimpleTES) vor, einen allgemeinen Rahmen, der parallele Exploration, feedbackgesteuerte Verfeinerung und lokale Auswahl strategisch kombiniert und erhebliche Gewinne aufzeigt, die durch das Skalieren evaluierungsgesteuerter Entdeckungsschleifen entlang der richtigen Dimensionen freigesetzt werden. Über 21 wissenschaftliche Probleme aus sechs Domänen hinweg entdeckt SimpleTES mit gpt-oss-Modellen state-of-the-art-Lösungen und übertrifft dabei konsequent sowohl Baseline-Modelle der Frontier-Klasse als auch anspruchsvolle Optimierungspipelines. Insbesondere beschleunigten wir den weit verbreiteten LASSO-Algorithmus um mehr als das Doppelte, entwarfen Quantenschaltkreis-Routing-Strategien, die den Gate-Overhead um 24,5 % reduzieren, und entdeckten neue Erdős-Minimum-Overlap-Konstruktionen, die die bisher besten bekannten Ergebnisse übertreffen. Über neuartige Entdeckungen hinaus erzeugt SimpleTES trajectorienbezogene Verläufe, die feedbackgesteuertes Lernen natürlich überwachen. Wenn Modelle nachträglich auf erfolgreichen Trajektorien trainiert werden, verbessern sie nicht nur die Effizienz bei bekannten Problemen, sondern generalisieren auch auf unbekannte Probleme und entdecken Lösungen, die Basis-Modelle nicht finden. Zusammengenommen etablieren unsere Ergebnisse eine effektive Skalierung evaluierungsgesteuerter Schleifen als zentrale Achse für den Fortschritt LLM-gesteuerter wissenschaftlicher Entdeckung und liefern einen einfachen, doch praktischen Rahmen, um diese Gewinne zu realisieren.
English
Language models are increasingly used in scientific discovery to generate hypotheses, propose candidate solutions, implement systems, and iteratively refine them. At the core of these trial-and-error loops lies evaluation: the process of obtaining feedback on candidate solutions via verifiers, simulators, or task-specific scoring functions. While prior work has highlighted the importance of evaluation, it has not explicitly formulated the problem of how evaluation-driven discovery loops can be scaled up in a principled and effective manner to push the boundaries of scientific discovery, a problem this paper seeks to address. We introduce Simple Test-time Evaluation-driven Scaling (SimpleTES), a general framework that strategically combines parallel exploration, feedback-driven refinement, and local selection, revealing substantial gains unlocked by scaling evaluation-driven discovery loops along the right dimensions. Across 21 scientific problems spanning six domains, SimpleTES discovers state-of-the-art solutions using gpt-oss models, consistently outperforming both frontier-model baselines and sophisticated optimization pipelines. Particularly, we sped up the widely used LASSO algorithm by over 2x, designed quantum circuit routing policies that reduce gate overhead by 24.5%, and discovered new Erdos minimum overlap constructions that surpass the best-known results. Beyond novel discoveries, SimpleTES produces trajectory-level histories that naturally supervise feedback-driven learning. When post-trained on successful trajectories, models not only improve efficiency on seen problems but also generalize to unseen problems, discovering solutions that base models fail to uncover. Together, our results establish effective evaluation-driven loop scaling as a central axis for advancing LLM-driven scientific discovery, and provide a simple yet practical framework for realizing these gains.