Escalado Impulsado por la Evaluación para el Descubrimiento Científico

Evaluation-driven Scaling for Scientific Discovery

April 21, 2026

Autores: Haotian Ye, Haowei Lin, Jingyi Tang, Yizhen Luo, Caiyin Yang, Chang Su, Rahul Thapa, Rui Yang, Ruihua Liu, Zeyu Li, Chong Gao, Dachao Ding, Guangrong He, Miaolei Zhang, Lina Sun, Wenyang Wang, Yuchen Zhong, Zhuohao Shen, Di He, Jianzhu Ma, Stefano Ermon, Tongyang Li, Xiaowen Chu, James Zou, Yuzhi Xu

cs.AI

Resumen

Los modelos de lenguaje se utilizan cada vez más en el descubrimiento científico para generar hipótesis, proponer soluciones candidatas, implementar sistemas y refinarlos iterativamente. En el núcleo de estos bucles de prueba y error se encuentra la evaluación: el proceso de obtener retroalimentación sobre las soluciones candidatas mediante verificadores, simuladores o funciones de puntuación específicas de la tarea. Si bien trabajos anteriores han destacado la importancia de la evaluación, no han formulado explícitamente el problema de cómo los bucles de descubrimiento impulsados por evaluación pueden escalarse de manera sistemática y efectiva para ampliar los límites del descubrimiento científico, un problema que este artículo busca abordar. Introducimos Simple Test-time Evaluation-driven Scaling (SimpleTES), un marco general que combina estratégicamente la exploración paralela, el refinamiento guiado por retroalimentación y la selección local, revelando ganancias sustanciales desbloqueadas al escalar los bucles de descubrimiento basados en evaluación a lo largo de las dimensiones correctas. En 21 problemas científicos que abarcan seis dominios, SimpleTES descubre soluciones de vanguardia utilizando modelos gpt-oss, superando consistentemente tanto a los modelos de referencia de última generación como a las sofisticadas canalizaciones de optimización. En particular, aceleramos el algoritmo LASSO, ampliamente utilizado, en más de 2 veces, diseñamos políticas de enrutamiento de circuitos cuánticos que reducen la sobrecarga de compuertas en un 24.5% y descubrimos nuevas construcciones de superposición mínima de Erdos que superan los mejores resultados conocidos. Más allá de los descubrimientos novedosos, SimpleTES produce historiales a nivel de trayectoria que supervisan naturalmente el aprendizaje basado en retroalimentación. Cuando los modelos se post-entrenan con trayectorias exitosas, no solo mejoran la eficiencia en problemas conocidos, sino que también generalizan a problemas no vistos, descubriendo soluciones que los modelos base no logran encontrar. En conjunto, nuestros resultados establecen el escalado efectivo de bucles impulsados por evaluación como un eje central para avanzar en el descubrimiento científico impulsado por LLM, y proporcionan un marco simple pero práctico para materializar estas ganancias.

English

Language models are increasingly used in scientific discovery to generate hypotheses, propose candidate solutions, implement systems, and iteratively refine them. At the core of these trial-and-error loops lies evaluation: the process of obtaining feedback on candidate solutions via verifiers, simulators, or task-specific scoring functions. While prior work has highlighted the importance of evaluation, it has not explicitly formulated the problem of how evaluation-driven discovery loops can be scaled up in a principled and effective manner to push the boundaries of scientific discovery, a problem this paper seeks to address. We introduce Simple Test-time Evaluation-driven Scaling (SimpleTES), a general framework that strategically combines parallel exploration, feedback-driven refinement, and local selection, revealing substantial gains unlocked by scaling evaluation-driven discovery loops along the right dimensions. Across 21 scientific problems spanning six domains, SimpleTES discovers state-of-the-art solutions using gpt-oss models, consistently outperforming both frontier-model baselines and sophisticated optimization pipelines. Particularly, we sped up the widely used LASSO algorithm by over 2x, designed quantum circuit routing policies that reduce gate overhead by 24.5%, and discovered new Erdos minimum overlap constructions that surpass the best-known results. Beyond novel discoveries, SimpleTES produces trajectory-level histories that naturally supervise feedback-driven learning. When post-trained on successful trajectories, models not only improve efficiency on seen problems but also generalize to unseen problems, discovering solutions that base models fail to uncover. Together, our results establish effective evaluation-driven loop scaling as a central axis for advancing LLM-driven scientific discovery, and provide a simple yet practical framework for realizing these gains.