MOOSE-Star: Erschließung praktikabler Trainingsverfahren für wissenschaftliche Entdeckungen durch Überwindung der Komplexitätsbarriere
MOOSE-Star: Unlocking Tractable Training for Scientific Discovery by Breaking the Complexity Barrier
March 4, 2026
Autoren: Zonglin Yang, Lidong Bing
cs.AI
Zusammenfassung
Während große Sprachmodelle (LLMs) vielversprechend für wissenschaftliche Entdeckungen sind, konzentriert sich die bestehende Forschung auf Inferenz oder feedback-gesteuertes Training, wodurch die direkte Modellierung des generativen Reasoning-Prozesses P(Hypothese|Hintergrundwissen) (P(h|b)) unerforscht bleibt. Wir zeigen, dass das direkte Training von P(h|b) mathematisch nicht handhabbar ist, bedingt durch die kombinatorische Komplexität (O(N^k)), die der Abfrage und Zusammensetzung von Inspirationen aus einer riesigen Wissensbasis innewohnt. Um diese Barriere zu überwinden, führen wir MOOSE-Star ein, einen einheitlichen Rahmen, der handhabbares Training und skalierbare Inferenz ermöglicht. Im besten Fall reduziert MOOSE-Star die Komplexität von exponentiell auf logarithmisch (O(log N)), indem (1) auf zerlegte Teilaufgaben trainiert wird, die aus der probabilistischen Gleichung der Entdeckung abgeleitet sind, (2) ein motivationsgeleiteter hierarchischer Suchansatz eingesetzt wird, um logarithmische Abfrage zu ermöglichen und irrelevante Teilräume auszuschließen, und (3) eine begrenzte Komposition für Robustheit gegenüber Abfragefehlern genutzt wird. Um dies zu ermöglichen, veröffentlichen wir TOMATO-Star, einen Datensatz mit 108.717 zerlegten wissenschaftlichen Arbeiten (38.400 GPU-Stunden) für das Training. Des Weiteren zeigen wir, dass, während Brute-Force-Sampling auf eine "Komplexitätsmauer" stößt, MOOSE-Star kontinuierliches Skalieren zur Testzeit aufweist.
English
While large language models (LLMs) show promise in scientific discovery, existing research focuses on inference or feedback-driven training, leaving the direct modeling of the generative reasoning process, P(hypothesis|background) (P(h|b)), unexplored. We demonstrate that directly training P(h|b) is mathematically intractable due to the combinatorial complexity (O(N^k)) inherent in retrieving and composing inspirations from a vast knowledge base. To break this barrier, we introduce MOOSE-Star, a unified framework enabling tractable training and scalable inference. In the best case, MOOSE-Star reduces complexity from exponential to logarithmic (O(log N)) by (1) training on decomposed subtasks derived from the probabilistic equation of discovery, (2) employing motivation-guided hierarchical search to enable logarithmic retrieval and prune irrelevant subspaces, and (3) utilizing bounded composition for robustness against retrieval noise. To facilitate this, we release TOMATO-Star, a dataset of 108,717 decomposed papers (38,400 GPU hours) for training. Furthermore, we show that while brute-force sampling hits a ''complexity wall,'' MOOSE-Star exhibits continuous test-time scaling.