Expansão Orientada por Avaliação para a Descoberta Científica

Evaluation-driven Scaling for Scientific Discovery

April 21, 2026

Autores: Haotian Ye, Haowei Lin, Jingyi Tang, Yizhen Luo, Caiyin Yang, Chang Su, Rahul Thapa, Rui Yang, Ruihua Liu, Zeyu Li, Chong Gao, Dachao Ding, Guangrong He, Miaolei Zhang, Lina Sun, Wenyang Wang, Yuchen Zhong, Zhuohao Shen, Di He, Jianzhu Ma, Stefano Ermon, Tongyang Li, Xiaowen Chu, James Zou, Yuzhi Xu

cs.AI

Resumo

Os modelos de linguagem são cada vez mais utilizados na descoberta científica para gerar hipóteses, propor soluções candidatas, implementar sistemas e refiná-los iterativamente. No centro destes ciclos de tentativa e erro está a avaliação: o processo de obter *feedback* sobre soluções candidatas através de verificadores, simuladores ou funções de pontuação específicas da tarefa. Embora trabalhos anteriores tenham destacado a importância da avaliação, não formularam explicitamente o problema de como os ciclos de descoberta orientados por avaliação podem ser escalados de forma principiada e eficaz para expandir os limites da descoberta científica, um problema que este artigo procura resolver. Apresentamos o *Simple Test-time Evaluation-driven Scaling* (SimpleTES), uma estrutura geral que combina estrategicamente exploração paralela, refinamento orientado por *feedback* e seleção local, revelando ganhos substanciais obtidos ao escalar os ciclos de descoberta orientados por avaliação ao longo das dimensões corretas. Em 21 problemas científicos abrangendo seis domínios, o SimpleTES descobre soluções de ponta usando modelos *gpt-oss*, superando consistentemente tanto as linhas de base de modelos de fronteira quanto os *pipelines* de otimização sofisticados. Particularmente, acelerámos o algoritmo LASSO amplamente utilizado em mais de 2x, projetámos políticas de roteamento de circuitos quânticos que reduzem a sobrecarga de portas em 24,5% e descobrimos novas construções de sobreposição mínima de Erdos que superam os melhores resultados conhecidos. Para além de descobertas novas, o SimpleTES produz históricos de trajetória que supervisionam naturalmente a aprendizagem orientada por *feedback*. Quando pós-treinados em trajetórias bem-sucedidas, os modelos não só melhoram a eficiência em problemas conhecidos, mas também generalizam para problemas não vistos, descobrindo soluções que os modelos base não conseguem encontrar. Em conjunto, os nossos resultados estabelecem a escalagem eficaz de ciclos orientados por avaliação como um eixo central para o avanço da descoberta científica orientada por LLM e fornecem uma estrutura simples, mas prática, para realizar esses ganhos.

English

Language models are increasingly used in scientific discovery to generate hypotheses, propose candidate solutions, implement systems, and iteratively refine them. At the core of these trial-and-error loops lies evaluation: the process of obtaining feedback on candidate solutions via verifiers, simulators, or task-specific scoring functions. While prior work has highlighted the importance of evaluation, it has not explicitly formulated the problem of how evaluation-driven discovery loops can be scaled up in a principled and effective manner to push the boundaries of scientific discovery, a problem this paper seeks to address. We introduce Simple Test-time Evaluation-driven Scaling (SimpleTES), a general framework that strategically combines parallel exploration, feedback-driven refinement, and local selection, revealing substantial gains unlocked by scaling evaluation-driven discovery loops along the right dimensions. Across 21 scientific problems spanning six domains, SimpleTES discovers state-of-the-art solutions using gpt-oss models, consistently outperforming both frontier-model baselines and sophisticated optimization pipelines. Particularly, we sped up the widely used LASSO algorithm by over 2x, designed quantum circuit routing policies that reduce gate overhead by 24.5%, and discovered new Erdos minimum overlap constructions that surpass the best-known results. Beyond novel discoveries, SimpleTES produces trajectory-level histories that naturally supervise feedback-driven learning. When post-trained on successful trajectories, models not only improve efficiency on seen problems but also generalize to unseen problems, discovering solutions that base models fail to uncover. Together, our results establish effective evaluation-driven loop scaling as a central axis for advancing LLM-driven scientific discovery, and provide a simple yet practical framework for realizing these gains.