構造化されたコンポーネントベースの報酬メカニズムによる生物実験プロトコル生成のための科学的推論の解放

要旨

再現可能な科学の基盤は、正確で論理的に順序付けられ、実行可能なプロトコルにある。自然言語クエリを通じてこれらのプロトコルを自律的に生成することは、再現プロセスの効率を大幅に向上させる可能性がある。しかし、現在の主要な大規模言語モデル（LLMs）は、不完全または一貫性のないプロトコルを生成することが多く、その有用性を制限している。この制限に対処するため、まず、27の生物学的サブフィールドにまたがり、理解と問題解決の両方のタスクを含む12,000以上の構造化プロトコルからなる大規模データセットであるSciRecipeを紹介する。さらに、プロトコル生成を改善するために、「スケッチアンドフィル」パラダイムを提案する。このパラダイムは、分析、構造化、表現を分離し、各ステップが明確かつ検証可能であることを保証する。これを補完するために、構造化されたコンポーネントベースの報酬メカニズムは、ステップの粒度、アクションの順序、および意味的忠実性を評価し、モデルの最適化を実験の信頼性と一致させる。これらのコンポーネントを基に、知識獲得から操作推論、そして最終的に堅牢で実行可能なプロトコル生成へと進む段階的な「知識から行動へ」のプロセスを通じて訓練されたThothを開発する。複数のベンチマークにおいて、ThothはプロプライエタリおよびオープンソースのLLMsを一貫して上回り、ステップの整合性、論理的な順序付け、および意味的精度において大幅な改善を達成する。我々のアプローチは、知識と実験実行を結びつける信頼性の高い科学アシスタントへの道を開くものである。すべてのデータ、コード、およびモデルは公開される予定である。

English

The foundation of reproducible science lies in protocols that are precise, logically ordered, and executable. The autonomous generation of these protocols through natural language queries could greatly improve the efficiency of the reproduction process. However, current leading large language models (LLMs) often generate incomplete or inconsistent protocols, limiting their utility. To address this limitation, we first introduce SciRecipe, a large-scale dataset of over 12K structured protocols spanning 27 biological subfields and encompassing both comprehension and problem-solving tasks. To further improve protocol generation, we propose the "Sketch-and-Fill" paradigm, which separates analysis, structuring, and expression to ensure each step is explicit and verifiable. Complementing this, the structured component-based reward mechanism evaluates step granularity, action order, and semantic fidelity, aligning model optimization with experimental reliability. Building on these components, we develop Thoth, trained through a staged Knowledge-to-Action process that progresses from knowledge acquisition to operational reasoning and ultimately to robust, executable protocol generation. Across multiple benchmarks, Thoth consistently surpasses both proprietary and open-source LLMs, achieving significant improvements in step alignment, logical sequencing, and semantic accuracy. Our approach paves the way for reliable scientific assistants that bridge knowledge with experimental execution. All data, code, and models will be released publicly.

構造化されたコンポーネントベースの報酬メカニズムによる生物実験プロトコル生成のための科学的推論の解放

Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism

要旨

Support