MOOSE-Chem3: Hacia la Clasificación de Hipótesis Guiada por Experimentos mediante Retroalimentación de Simulaciones Experimentales

MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback

May 23, 2025

Autores: Wanhao Liu, Zonglin Yang, Jue Wang, Lidong Bing, Di Zhang, Dongzhan Zhou, Yuqiang Li, Houqiang Li, Erik Cambria, Wanli Ouyang

cs.AI

Resumen

La clasificación de hipótesis es un componente crucial del descubrimiento científico automatizado, particularmente en las ciencias naturales donde los experimentos de laboratorio son costosos y tienen un rendimiento limitado. Los enfoques existentes se centran en la clasificación previa al experimento, basándose únicamente en el razonamiento interno de modelos de lenguaje grandes sin incorporar resultados empíricos de los experimentos. Introducimos la tarea de clasificación guiada por experimentos, que tiene como objetivo priorizar hipótesis candidatas basándose en los resultados de otras previamente probadas. Sin embargo, desarrollar tales estrategias es un desafío debido a la impracticabilidad de realizar repetidamente experimentos reales en dominios de las ciencias naturales. Para abordar esto, proponemos un simulador fundamentado en tres supuestos informados por el dominio, que modela el rendimiento de las hipótesis como una función de similitud con una hipótesis de verdad conocida, perturbada por ruido. Curiosamente, hemos compilado un conjunto de datos de 124 hipótesis de química con resultados reportados experimentalmente para validar el simulador. Basándonos en este simulador, desarrollamos un método de clasificación guiada por pseudoexperimentos que agrupa hipótesis por características funcionales compartidas y prioriza candidatos basándose en conocimientos derivados de la retroalimentación experimental simulada. Los experimentos muestran que nuestro método supera a las líneas base previas al experimento y a fuertes ablaciones.

English

Hypothesis ranking is a crucial component of automated scientific discovery, particularly in natural sciences where wet-lab experiments are costly and throughput-limited. Existing approaches focus on pre-experiment ranking, relying solely on large language model's internal reasoning without incorporating empirical outcomes from experiments. We introduce the task of experiment-guided ranking, which aims to prioritize candidate hypotheses based on the results of previously tested ones. However, developing such strategies is challenging due to the impracticality of repeatedly conducting real experiments in natural science domains. To address this, we propose a simulator grounded in three domain-informed assumptions, modeling hypothesis performance as a function of similarity to a known ground truth hypothesis, perturbed by noise. We curate a dataset of 124 chemistry hypotheses with experimentally reported outcomes to validate the simulator. Building on this simulator, we develop a pseudo experiment-guided ranking method that clusters hypotheses by shared functional characteristics and prioritizes candidates based on insights derived from simulated experimental feedback. Experiments show that our method outperforms pre-experiment baselines and strong ablations.