MOOSE-Chem3 : Vers un classement d'hypothèses guidé par l'expérimentation via un retour d'expérience simulé

MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback

May 23, 2025

Auteurs: Wanhao Liu, Zonglin Yang, Jue Wang, Lidong Bing, Di Zhang, Dongzhan Zhou, Yuqiang Li, Houqiang Li, Erik Cambria, Wanli Ouyang

cs.AI

Résumé

Le classement des hypothèses est un élément crucial de la découverte scientifique automatisée, en particulier dans les sciences naturelles où les expériences en laboratoire sont coûteuses et limitées en débit. Les approches existantes se concentrent sur le classement pré-expérimental, s'appuyant uniquement sur le raisonnement interne des grands modèles de langage sans intégrer les résultats empiriques des expériences. Nous introduisons la tâche de classement guidé par les expériences, qui vise à hiérarchiser les hypothèses candidates en fonction des résultats des hypothèses précédemment testées. Cependant, développer de telles stratégies est difficile en raison de l'impraticabilité de répéter des expériences réelles dans les domaines des sciences naturelles. Pour résoudre ce problème, nous proposons un simulateur basé sur trois hypothèses informées par le domaine, modélisant la performance des hypothèses en fonction de leur similarité avec une hypothèse de vérité terrain connue, perturbée par du bruit. Nous constituons un ensemble de données de 124 hypothèses chimiques avec des résultats expérimentaux rapportés pour valider le simulateur. Sur la base de ce simulateur, nous développons une méthode de classement pseudo guidé par les expériences qui regroupe les hypothèses par caractéristiques fonctionnelles communes et hiérarchise les candidates en fonction des insights dérivés des retours d'expériences simulées. Les expériences montrent que notre méthode surpasse les bases de référence pré-expérimentales et des ablations robustes.

English

Hypothesis ranking is a crucial component of automated scientific discovery, particularly in natural sciences where wet-lab experiments are costly and throughput-limited. Existing approaches focus on pre-experiment ranking, relying solely on large language model's internal reasoning without incorporating empirical outcomes from experiments. We introduce the task of experiment-guided ranking, which aims to prioritize candidate hypotheses based on the results of previously tested ones. However, developing such strategies is challenging due to the impracticality of repeatedly conducting real experiments in natural science domains. To address this, we propose a simulator grounded in three domain-informed assumptions, modeling hypothesis performance as a function of similarity to a known ground truth hypothesis, perturbed by noise. We curate a dataset of 124 chemistry hypotheses with experimentally reported outcomes to validate the simulator. Building on this simulator, we develop a pseudo experiment-guided ranking method that clusters hypotheses by shared functional characteristics and prioritizes candidates based on insights derived from simulated experimental feedback. Experiments show that our method outperforms pre-experiment baselines and strong ablations.