MOOSE-Chem3: Auf dem Weg zur experimentgestützten Hypothesenbewertung durch simuliertes experimentelles Feedback

MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback

May 23, 2025

Autoren: Wanhao Liu, Zonglin Yang, Jue Wang, Lidong Bing, Di Zhang, Dongzhan Zhou, Yuqiang Li, Houqiang Li, Erik Cambria, Wanli Ouyang

cs.AI

Zusammenfassung

Die Hypothesenbewertung ist eine entscheidende Komponente der automatisierten wissenschaftlichen Entdeckung, insbesondere in den Naturwissenschaften, wo Experimente im Labor kostspielig und durchsatzbeschränkt sind. Bisherige Ansätze konzentrieren sich auf die Bewertung vor dem Experiment und stützen sich ausschließlich auf die interne Logik großer Sprachmodelle, ohne empirische Ergebnisse aus Experimenten einzubeziehen. Wir führen die Aufgabe der experimentgestützten Bewertung ein, die darauf abzielt, Kandidatenhypothesen basierend auf den Ergebnissen zuvor getesteter Hypothesen zu priorisieren. Die Entwicklung solcher Strategien ist jedoch aufgrund der Undurchführbarkeit, reale Experimente in naturwissenschaftlichen Bereichen wiederholt durchzuführen, eine Herausforderung. Um dies zu bewältigen, schlagen wir einen Simulator vor, der auf drei domänenspezifischen Annahmen basiert und die Leistung von Hypothesen als Funktion ihrer Ähnlichkeit zu einer bekannten Grundwahrheitshypothese modelliert, die durch Rauschen gestört wird. Wir erstellen einen Datensatz von 124 chemischen Hypothesen mit experimentell berichteten Ergebnissen, um den Simulator zu validieren. Aufbauend auf diesem Simulator entwickeln wir eine Methode zur pseudo-experimentgestützten Bewertung, die Hypothesen nach gemeinsamen funktionalen Merkmalen clustert und Kandidaten basierend auf Erkenntnissen aus simuliertem experimentellem Feedback priorisiert. Experimente zeigen, dass unsere Methode die Bewertung vor dem Experiment und starke Ablationen übertrifft.

English

Hypothesis ranking is a crucial component of automated scientific discovery, particularly in natural sciences where wet-lab experiments are costly and throughput-limited. Existing approaches focus on pre-experiment ranking, relying solely on large language model's internal reasoning without incorporating empirical outcomes from experiments. We introduce the task of experiment-guided ranking, which aims to prioritize candidate hypotheses based on the results of previously tested ones. However, developing such strategies is challenging due to the impracticality of repeatedly conducting real experiments in natural science domains. To address this, we propose a simulator grounded in three domain-informed assumptions, modeling hypothesis performance as a function of similarity to a known ground truth hypothesis, perturbed by noise. We curate a dataset of 124 chemistry hypotheses with experimentally reported outcomes to validate the simulator. Building on this simulator, we develop a pseudo experiment-guided ranking method that clusters hypotheses by shared functional characteristics and prioritizes candidates based on insights derived from simulated experimental feedback. Experiments show that our method outperforms pre-experiment baselines and strong ablations.