MOOSE-Chem3: Rumo à Classificação de Hipóteses Guiada por Experimentos via Feedback de Simulação Experimental

MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback

May 23, 2025

Autores: Wanhao Liu, Zonglin Yang, Jue Wang, Lidong Bing, Di Zhang, Dongzhan Zhou, Yuqiang Li, Houqiang Li, Erik Cambria, Wanli Ouyang

cs.AI

Resumo

A classificação de hipóteses é um componente crucial da descoberta científica automatizada, especialmente nas ciências naturais, onde experimentos em laboratório são caros e limitados em termos de produtividade. As abordagens existentes focam na classificação pré-experimental, dependendo exclusivamente do raciocínio interno de modelos de linguagem de grande escala, sem incorporar resultados empíricos de experimentos. Introduzimos a tarefa de classificação guiada por experimentos, que visa priorizar hipóteses candidatas com base nos resultados de experimentos previamente testados. No entanto, desenvolver tais estratégias é desafiador devido à impraticabilidade de realizar repetidamente experimentos reais em domínios das ciências naturais. Para resolver isso, propomos um simulador baseado em três suposições informadas pelo domínio, modelando o desempenho das hipóteses como uma função de sua similaridade com uma hipótese verdadeira conhecida, perturbada por ruído. Compilamos um conjunto de dados de 124 hipóteses de química com resultados reportados experimentalmente para validar o simulador. Com base nesse simulador, desenvolvemos um método de classificação pseudo-guiada por experimentos que agrupa hipóteses por características funcionais compartilhadas e prioriza candidatos com base em insights derivados de feedback simulado de experimentos. Experimentos mostram que nosso método supera baselines pré-experimentais e ablações robustas.

English

Hypothesis ranking is a crucial component of automated scientific discovery, particularly in natural sciences where wet-lab experiments are costly and throughput-limited. Existing approaches focus on pre-experiment ranking, relying solely on large language model's internal reasoning without incorporating empirical outcomes from experiments. We introduce the task of experiment-guided ranking, which aims to prioritize candidate hypotheses based on the results of previously tested ones. However, developing such strategies is challenging due to the impracticality of repeatedly conducting real experiments in natural science domains. To address this, we propose a simulator grounded in three domain-informed assumptions, modeling hypothesis performance as a function of similarity to a known ground truth hypothesis, perturbed by noise. We curate a dataset of 124 chemistry hypotheses with experimentally reported outcomes to validate the simulator. Building on this simulator, we develop a pseudo experiment-guided ranking method that clusters hypotheses by shared functional characteristics and prioritizes candidates based on insights derived from simulated experimental feedback. Experiments show that our method outperforms pre-experiment baselines and strong ablations.