MOOSE-Chem3: Naar Experiment-Gestuurde Hypotheseranking via Gesimuleerde Experimentele Feedback
MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback
May 23, 2025
Auteurs: Wanhao Liu, Zonglin Yang, Jue Wang, Lidong Bing, Di Zhang, Dongzhan Zhou, Yuqiang Li, Houqiang Li, Erik Cambria, Wanli Ouyang
cs.AI
Samenvatting
Hypothese-rangschikking is een cruciaal onderdeel van geautomatiseerde wetenschappelijke ontdekking, met name in de natuurwetenschappen waar natlab-experimenten kostbaar en doorvoerbeperkt zijn. Bestaande benaderingen richten zich op voorafgaande experimentele rangschikking, waarbij uitsluitend wordt vertrouwd op het interne redeneervermogen van grote taalmodellen zonder empirische resultaten van experimenten te incorporeren. Wij introduceren de taak van experiment-geleide rangschikking, die als doel heeft kandidaat-hypothesen te prioriteren op basis van de resultaten van eerder geteste hypothesen. Het ontwikkelen van dergelijke strategieën is echter uitdagend vanwege de onpraktische haalbaarheid van het herhaaldelijk uitvoeren van echte experimenten in natuurwetenschappelijke domeinen. Om dit aan te pakken, stellen we een simulator voor die gebaseerd is op drie domein-geïnformeerde aannames, waarbij de prestaties van hypothesen worden gemodelleerd als een functie van de gelijkenis met een bekende grondwaarheid-hypothese, verstoord door ruis. We hebben een dataset samengesteld van 124 chemie-hypothesen met experimenteel gerapporteerde uitkomsten om de simulator te valideren. Op basis van deze simulator ontwikkelen we een pseudo-experiment-geleide rangschikkingsmethode die hypothesen clustert op gedeelde functionele kenmerken en kandidaten prioriteert op basis van inzichten afgeleid van gesimuleerde experimentele feedback. Experimenten tonen aan dat onze methode beter presteert dan voorafgaande experimentele basislijnen en sterke ablatievarianten.
English
Hypothesis ranking is a crucial component of automated scientific discovery,
particularly in natural sciences where wet-lab experiments are costly and
throughput-limited. Existing approaches focus on pre-experiment ranking,
relying solely on large language model's internal reasoning without
incorporating empirical outcomes from experiments. We introduce the task of
experiment-guided ranking, which aims to prioritize candidate hypotheses based
on the results of previously tested ones. However, developing such strategies
is challenging due to the impracticality of repeatedly conducting real
experiments in natural science domains. To address this, we propose a simulator
grounded in three domain-informed assumptions, modeling hypothesis performance
as a function of similarity to a known ground truth hypothesis, perturbed by
noise. We curate a dataset of 124 chemistry hypotheses with experimentally
reported outcomes to validate the simulator. Building on this simulator, we
develop a pseudo experiment-guided ranking method that clusters hypotheses by
shared functional characteristics and prioritizes candidates based on insights
derived from simulated experimental feedback. Experiments show that our method
outperforms pre-experiment baselines and strong ablations.