Freisetzung wissenschaftlicher Denkprozesse zur Generierung bioexperimenteller Protokolle durch strukturierte, komponentenbasierte Belohnungsmechanismen

Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism

October 17, 2025

papers.authors: Haoran Sun, Yankai Jiang, Zhenyu Tang, Yaning Pan, Shuang Gu, Zekai Lin, Lilong Wang, Wenjie Lou, Lei Liu, Lei Bai, Xiaosong Wang

cs.AI

papers.abstract

Die Grundlage reproduzierbarer Wissenschaft liegt in Protokollen, die präzise, logisch geordnet und ausführbar sind. Die autonome Generierung dieser Protokolle durch natürliche Sprachabfragen könnte die Effizienz des Reproduktionsprozesses erheblich steigern. Allerdings erzeugen führende große Sprachmodelle (LLMs) derzeit oft unvollständige oder inkonsistente Protokolle, was ihre Nützlichkeit einschränkt. Um diese Einschränkung zu überwinden, stellen wir zunächst SciRecipe vor, einen umfangreichen Datensatz mit über 12.000 strukturierten Protokollen, die 27 biologische Teilgebiete abdecken und sowohl Verständnis- als auch Problemlösungsaufgaben umfassen. Um die Protokollgenerierung weiter zu verbessern, schlagen wir das „Sketch-and-Fill“-Paradigma vor, das Analyse, Strukturierung und Ausdrucksweise trennt, um sicherzustellen, dass jeder Schritt explizit und überprüfbar ist. Ergänzend dazu bewertet der strukturierte, komponentenbasierte Belohnungsmechanismus die Granularität der Schritte, die Reihenfolge der Aktionen und die semantische Treue, wodurch die Modelloptimierung mit der experimentellen Zuverlässigkeit in Einklang gebracht wird. Aufbauend auf diesen Komponenten entwickeln wir Thoth, das durch einen gestuften „Knowledge-to-Action“-Prozess trainiert wird, der vom Wissenserwerb über operatives Denken bis hin zur robusten, ausführbaren Protokollgenerierung fortschreitet. In mehreren Benchmarks übertrifft Thoth durchweg sowohl proprietäre als auch Open-Source-LLMs und erzielt signifikante Verbesserungen in der Schrittausrichtung, der logischen Sequenzierung und der semantischen Genauigkeit. Unser Ansatz ebnet den Weg für zuverlässige wissenschaftliche Assistenten, die Wissen mit experimenteller Ausführung verbinden. Alle Daten, Codes und Modelle werden öffentlich zugänglich gemacht.

English

The foundation of reproducible science lies in protocols that are precise, logically ordered, and executable. The autonomous generation of these protocols through natural language queries could greatly improve the efficiency of the reproduction process. However, current leading large language models (LLMs) often generate incomplete or inconsistent protocols, limiting their utility. To address this limitation, we first introduce SciRecipe, a large-scale dataset of over 12K structured protocols spanning 27 biological subfields and encompassing both comprehension and problem-solving tasks. To further improve protocol generation, we propose the "Sketch-and-Fill" paradigm, which separates analysis, structuring, and expression to ensure each step is explicit and verifiable. Complementing this, the structured component-based reward mechanism evaluates step granularity, action order, and semantic fidelity, aligning model optimization with experimental reliability. Building on these components, we develop Thoth, trained through a staged Knowledge-to-Action process that progresses from knowledge acquisition to operational reasoning and ultimately to robust, executable protocol generation. Across multiple benchmarks, Thoth consistently surpasses both proprietary and open-source LLMs, achieving significant improvements in step alignment, logical sequencing, and semantic accuracy. Our approach paves the way for reliable scientific assistants that bridge knowledge with experimental execution. All data, code, and models will be released publicly.