Wetenschappelijk Redeneren Bevrijden voor de Generatie van Bio-experimentele Protocollen via Gestructureerd Component-gebaseerd Beloningsmechanisme

Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism

October 17, 2025

Auteurs: Haoran Sun, Yankai Jiang, Zhenyu Tang, Yaning Pan, Shuang Gu, Zekai Lin, Lilong Wang, Wenjie Lou, Lei Liu, Lei Bai, Xiaosong Wang

cs.AI

Samenvatting

De basis van reproduceerbare wetenschap ligt in protocollen die precies, logisch geordend en uitvoerbaar zijn. De autonome generatie van deze protocollen via natuurlijke taalvragen zou de efficiëntie van het reproductieproces aanzienlijk kunnen verbeteren. Huidige toonaangevende grote taalmodellen (LLMs) genereren echter vaak onvolledige of inconsistente protocollen, wat hun bruikbaarheid beperkt. Om deze beperking aan te pakken, introduceren we eerst SciRecipe, een grootschalige dataset van meer dan 12K gestructureerde protocollen die 27 biologische subvelden beslaan en zowel begrips- als probleemoplossende taken omvatten. Om de protocollengeneratie verder te verbeteren, stellen we het "Sketch-and-Fill"-paradigma voor, dat analyse, structurering en expressie scheidt om ervoor te zorgen dat elke stap expliciet en verifieerbaar is. Hieraan aanvullend evalueert het gestructureerde componentgebaseerde beloningsmechanisme stapgranulariteit, actievolgorde en semantische trouw, waardoor modeloptimalisatie wordt afgestemd op experimentele betrouwbaarheid. Op basis van deze componenten ontwikkelen we Thoth, getraind via een gefaseerd Knowledge-to-Action-proces dat voortschrijdt van kennisverwerving naar operationeel redeneren en uiteindelijk naar robuuste, uitvoerbare protocollengeneratie. Op meerdere benchmarks overtreft Thoth zowel propriëtaire als open-source LLMs, met aanzienlijke verbeteringen in stapalignering, logische volgorde en semantische nauwkeurigheid. Onze aanleg opent de weg naar betrouwbare wetenschappelijke assistenten die kennis verbinden met experimentele uitvoering. Alle data, code en modellen zullen openbaar worden vrijgegeven.

English

The foundation of reproducible science lies in protocols that are precise, logically ordered, and executable. The autonomous generation of these protocols through natural language queries could greatly improve the efficiency of the reproduction process. However, current leading large language models (LLMs) often generate incomplete or inconsistent protocols, limiting their utility. To address this limitation, we first introduce SciRecipe, a large-scale dataset of over 12K structured protocols spanning 27 biological subfields and encompassing both comprehension and problem-solving tasks. To further improve protocol generation, we propose the "Sketch-and-Fill" paradigm, which separates analysis, structuring, and expression to ensure each step is explicit and verifiable. Complementing this, the structured component-based reward mechanism evaluates step granularity, action order, and semantic fidelity, aligning model optimization with experimental reliability. Building on these components, we develop Thoth, trained through a staged Knowledge-to-Action process that progresses from knowledge acquisition to operational reasoning and ultimately to robust, executable protocol generation. Across multiple benchmarks, Thoth consistently surpasses both proprietary and open-source LLMs, achieving significant improvements in step alignment, logical sequencing, and semantic accuracy. Our approach paves the way for reliable scientific assistants that bridge knowledge with experimental execution. All data, code, and models will be released publicly.