MOOSE-Chem3: К ранжированию гипотез с использованием экспериментальных данных через моделирование обратной связи от экспериментов

MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback

May 23, 2025

Авторы: Wanhao Liu, Zonglin Yang, Jue Wang, Lidong Bing, Di Zhang, Dongzhan Zhou, Yuqiang Li, Houqiang Li, Erik Cambria, Wanli Ouyang

cs.AI

Аннотация

Ранжирование гипотез является ключевым компонентом автоматизированного научного открытия, особенно в естественных науках, где лабораторные эксперименты дорогостоящи и ограничены по пропускной способности. Существующие подходы сосредоточены на предварительном ранжировании, полагаясь исключительно на внутренние рассуждения крупных языковых моделей без учета эмпирических результатов экспериментов. Мы представляем задачу ранжирования, направляемого экспериментами, которая ставит целью приоритезацию кандидатных гипотез на основе результатов ранее проверенных. Однако разработка таких стратегий является сложной из-за непрактичности многократного проведения реальных экспериментов в областях естественных наук. Для решения этой проблемы мы предлагаем симулятор, основанный на трех предположениях, учитывающих специфику предметной области, который моделирует производительность гипотез как функцию их сходства с известной истинной гипотезой, искаженную шумом. Мы создаем набор данных из 124 химических гипотез с экспериментально зафиксированными результатами для проверки симулятора. На основе этого симулятора мы разрабатываем метод псевдоэкспериментального ранжирования, который группирует гипотезы по общим функциональным характеристикам и приоритезирует кандидатов на основе инсайтов, полученных из смоделированных экспериментальных данных. Эксперименты показывают, что наш метод превосходит базовые подходы предварительного ранжирования и сильные абляции.

English

Hypothesis ranking is a crucial component of automated scientific discovery, particularly in natural sciences where wet-lab experiments are costly and throughput-limited. Existing approaches focus on pre-experiment ranking, relying solely on large language model's internal reasoning without incorporating empirical outcomes from experiments. We introduce the task of experiment-guided ranking, which aims to prioritize candidate hypotheses based on the results of previously tested ones. However, developing such strategies is challenging due to the impracticality of repeatedly conducting real experiments in natural science domains. To address this, we propose a simulator grounded in three domain-informed assumptions, modeling hypothesis performance as a function of similarity to a known ground truth hypothesis, perturbed by noise. We curate a dataset of 124 chemistry hypotheses with experimentally reported outcomes to validate the simulator. Building on this simulator, we develop a pseudo experiment-guided ranking method that clusters hypotheses by shared functional characteristics and prioritizes candidates based on insights derived from simulated experimental feedback. Experiments show that our method outperforms pre-experiment baselines and strong ablations.