Libérer le raisonnement scientifique pour la génération de protocoles bio-expérimentaux via un mécanisme de récompense structuré basé sur les composants

Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism

October 17, 2025

papers.authors: Haoran Sun, Yankai Jiang, Zhenyu Tang, Yaning Pan, Shuang Gu, Zekai Lin, Lilong Wang, Wenjie Lou, Lei Liu, Lei Bai, Xiaosong Wang

cs.AI

papers.abstract

La base de la science reproductible repose sur des protocoles qui sont précis, logiquement ordonnés et exécutables. La génération autonome de ces protocoles à partir de requêtes en langage naturel pourrait grandement améliorer l'efficacité du processus de reproduction. Cependant, les modèles de langage de grande taille (LLMs) actuels génèrent souvent des protocoles incomplets ou incohérents, limitant ainsi leur utilité. Pour remédier à cette limitation, nous introduisons d'abord SciRecipe, un ensemble de données à grande échelle comprenant plus de 12 000 protocoles structurés couvrant 27 sous-domaines biologiques et englobant à la fois des tâches de compréhension et de résolution de problèmes. Pour améliorer davantage la génération de protocoles, nous proposons le paradigme "Esquisse-et-Remplissage", qui sépare l'analyse, la structuration et l'expression afin de garantir que chaque étape soit explicite et vérifiable. En complément, le mécanisme de récompense structuré basé sur des composants évalue la granularité des étapes, l'ordre des actions et la fidélité sémantique, alignant ainsi l'optimisation du modèle sur la fiabilité expérimentale. Sur la base de ces composants, nous développons Thoth, formé à travers un processus en étapes de "Connaissance-à-Action" qui progresse de l'acquisition de connaissances au raisonnement opérationnel, et finalement à la génération de protocoles robustes et exécutables. Sur plusieurs benchmarks, Thoth surpasse de manière constante les LLMs propriétaires et open-source, obtenant des améliorations significatives en termes d'alignement des étapes, de séquencement logique et de précision sémantique. Notre approche ouvre la voie à des assistants scientifiques fiables qui relient la connaissance à l'exécution expérimentale. Toutes les données, codes et modèles seront rendus publics.

English

The foundation of reproducible science lies in protocols that are precise, logically ordered, and executable. The autonomous generation of these protocols through natural language queries could greatly improve the efficiency of the reproduction process. However, current leading large language models (LLMs) often generate incomplete or inconsistent protocols, limiting their utility. To address this limitation, we first introduce SciRecipe, a large-scale dataset of over 12K structured protocols spanning 27 biological subfields and encompassing both comprehension and problem-solving tasks. To further improve protocol generation, we propose the "Sketch-and-Fill" paradigm, which separates analysis, structuring, and expression to ensure each step is explicit and verifiable. Complementing this, the structured component-based reward mechanism evaluates step granularity, action order, and semantic fidelity, aligning model optimization with experimental reliability. Building on these components, we develop Thoth, trained through a staged Knowledge-to-Action process that progresses from knowledge acquisition to operational reasoning and ultimately to robust, executable protocol generation. Across multiple benchmarks, Thoth consistently surpasses both proprietary and open-source LLMs, achieving significant improvements in step alignment, logical sequencing, and semantic accuracy. Our approach paves the way for reliable scientific assistants that bridge knowledge with experimental execution. All data, code, and models will be released publicly.