MOOSE-Chem3: Verso una Classificazione di Ipotesi Guidata da Esperimenti attraverso Feedback Simulato di Esperimenti
MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback
May 23, 2025
Autori: Wanhao Liu, Zonglin Yang, Jue Wang, Lidong Bing, Di Zhang, Dongzhan Zhou, Yuqiang Li, Houqiang Li, Erik Cambria, Wanli Ouyang
cs.AI
Abstract
Il ranking delle ipotesi è un componente cruciale della scoperta scientifica automatizzata, in particolare nelle scienze naturali dove gli esperimenti di laboratorio sono costosi e limitati in termini di produttività. Gli approcci esistenti si concentrano sul ranking pre-esperimento, basandosi esclusivamente sul ragionamento interno di modelli linguistici di grandi dimensioni senza incorporare i risultati empirici degli esperimenti. Introduciamo il compito del ranking guidato da esperimenti, che mira a prioritizzare le ipotesi candidate in base ai risultati di quelle precedentemente testate. Tuttavia, sviluppare tali strategie è impegnativo a causa dell'impraticabilità di condurre ripetutamente esperimenti reali nei domini delle scienze naturali. Per affrontare questo problema, proponiamo un simulatore basato su tre assunzioni informate dal dominio, modellando la performance delle ipotesi come una funzione della somiglianza a un'ipotesi di verità nota, perturbata da rumore. Abbiamo curato un dataset di 124 ipotesi chimiche con risultati sperimentali riportati per validare il simulatore. Basandoci su questo simulatore, sviluppiamo un metodo di ranking pseudo-guidato da esperimenti che raggruppa le ipotesi in base a caratteristiche funzionali condivise e prioritizza i candidati in base alle intuizioni derivate dal feedback sperimentale simulato. Gli esperimenti dimostrano che il nostro metodo supera i baseline pre-esperimento e forti ablazioni.
English
Hypothesis ranking is a crucial component of automated scientific discovery,
particularly in natural sciences where wet-lab experiments are costly and
throughput-limited. Existing approaches focus on pre-experiment ranking,
relying solely on large language model's internal reasoning without
incorporating empirical outcomes from experiments. We introduce the task of
experiment-guided ranking, which aims to prioritize candidate hypotheses based
on the results of previously tested ones. However, developing such strategies
is challenging due to the impracticality of repeatedly conducting real
experiments in natural science domains. To address this, we propose a simulator
grounded in three domain-informed assumptions, modeling hypothesis performance
as a function of similarity to a known ground truth hypothesis, perturbed by
noise. We curate a dataset of 124 chemistry hypotheses with experimentally
reported outcomes to validate the simulator. Building on this simulator, we
develop a pseudo experiment-guided ranking method that clusters hypotheses by
shared functional characteristics and prioritizes candidates based on insights
derived from simulated experimental feedback. Experiments show that our method
outperforms pre-experiment baselines and strong ablations.