MOOSE-Star: Преодоление барьера сложности для эффективного обучения в научных открытиях

MOOSE-Star: Unlocking Tractable Training for Scientific Discovery by Breaking the Complexity Barrier

March 4, 2026

Авторы: Zonglin Yang, Lidong Bing

cs.AI

Аннотация

Хотя большие языковые модели (LLM) демонстрируют потенциал в области научных открытий, существующие исследования сосредоточены на выводе или обучении с обратной связью, оставляя неисследованным прямое моделирование генеративного процесса рассуждений, P(гипотеза|фон) (P(h|b)). Мы показываем, что прямое обучение P(h|b) математически неразрешимо из-за комбинаторной сложности (O(N^k)), присущей извлечению и компоновке инсайтов из обширной базы знаний. Чтобы преодолеть этот барьер, мы представляем MOOSE-Star — унифицированную структуру, обеспечивающую разрешимое обучение и масштабируемый вывод. В лучшем случае MOOSE-Star снижает сложность с экспоненциальной до логарифмической (O(log N)) за счет (1) обучения на декомпозированных подзадачах, выведенных из вероятностного уравнения открытия, (2) использования мотивационно-ориентированного иерархического поиска для обеспечения логарифмического извлечения и отсечения нерелевантных подпространств и (3) применения ограниченной композиции для обеспечения устойчивости к шуму при извлечении. Для обеспечения этого мы публикуем TOMATO-Star — набор данных из 108 717 декомпозированных статей (38 400 GPU-часов) для обучения. Кроме того, мы показываем, что в то время как метод грубой силы упирается в «стену сложности», MOOSE-Star демонстрирует непрерывное масштабирование во время тестирования.

English

While large language models (LLMs) show promise in scientific discovery, existing research focuses on inference or feedback-driven training, leaving the direct modeling of the generative reasoning process, P(hypothesis|background) (P(h|b)), unexplored. We demonstrate that directly training P(h|b) is mathematically intractable due to the combinatorial complexity (O(N^k)) inherent in retrieving and composing inspirations from a vast knowledge base. To break this barrier, we introduce MOOSE-Star, a unified framework enabling tractable training and scalable inference. In the best case, MOOSE-Star reduces complexity from exponential to logarithmic (O(log N)) by (1) training on decomposed subtasks derived from the probabilistic equation of discovery, (2) employing motivation-guided hierarchical search to enable logarithmic retrieval and prune irrelevant subspaces, and (3) utilizing bounded composition for robustness against retrieval noise. To facilitate this, we release TOMATO-Star, a dataset of 108,717 decomposed papers (38,400 GPU hours) for training. Furthermore, we show that while brute-force sampling hits a ''complexity wall,'' MOOSE-Star exhibits continuous test-time scaling.