Liberación del Razonamiento Científico para la Generación de Protocolos Bioexperimentales mediante un Mecanismo de Recompensa Estructurado Basado en Componentes

Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism

October 17, 2025

Autores: Haoran Sun, Yankai Jiang, Zhenyu Tang, Yaning Pan, Shuang Gu, Zekai Lin, Lilong Wang, Wenjie Lou, Lei Liu, Lei Bai, Xiaosong Wang

cs.AI

Resumen

El fundamento de la ciencia reproducible radica en protocolos que son precisos, lógicamente ordenados y ejecutables. La generación autónoma de estos protocolos mediante consultas en lenguaje natural podría mejorar significativamente la eficiencia del proceso de reproducción. Sin embargo, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) líderes actuales a menudo generan protocolos incompletos o inconsistentes, lo que limita su utilidad. Para abordar esta limitación, primero presentamos SciRecipe, un conjunto de datos a gran escala de más de 12,000 protocolos estructurados que abarcan 27 subcampos biológicos e incluyen tareas de comprensión y resolución de problemas. Para mejorar aún más la generación de protocolos, proponemos el paradigma "Sketch-and-Fill", que separa el análisis, la estructuración y la expresión para garantizar que cada paso sea explícito y verificable. Complementando esto, el mecanismo de recompensa basado en componentes estructurados evalúa la granularidad de los pasos, el orden de las acciones y la fidelidad semántica, alineando la optimización del modelo con la confiabilidad experimental. Sobre la base de estos componentes, desarrollamos Thoth, entrenado a través de un proceso escalonado de Conocimiento-a-Acción que avanza desde la adquisición de conocimiento hasta el razonamiento operativo y, finalmente, la generación de protocolos robustos y ejecutables. En múltiples puntos de referencia, Thoth supera consistentemente tanto a los LLMs propietarios como a los de código abierto, logrando mejoras significativas en la alineación de pasos, la secuenciación lógica y la precisión semántica. Nuestro enfoque allana el camino para asistentes científicos confiables que conectan el conocimiento con la ejecución experimental. Todos los datos, códigos y modelos se publicarán públicamente.

English

The foundation of reproducible science lies in protocols that are precise, logically ordered, and executable. The autonomous generation of these protocols through natural language queries could greatly improve the efficiency of the reproduction process. However, current leading large language models (LLMs) often generate incomplete or inconsistent protocols, limiting their utility. To address this limitation, we first introduce SciRecipe, a large-scale dataset of over 12K structured protocols spanning 27 biological subfields and encompassing both comprehension and problem-solving tasks. To further improve protocol generation, we propose the "Sketch-and-Fill" paradigm, which separates analysis, structuring, and expression to ensure each step is explicit and verifiable. Complementing this, the structured component-based reward mechanism evaluates step granularity, action order, and semantic fidelity, aligning model optimization with experimental reliability. Building on these components, we develop Thoth, trained through a staged Knowledge-to-Action process that progresses from knowledge acquisition to operational reasoning and ultimately to robust, executable protocol generation. Across multiple benchmarks, Thoth consistently surpasses both proprietary and open-source LLMs, achieving significant improvements in step alignment, logical sequencing, and semantic accuracy. Our approach paves the way for reliable scientific assistants that bridge knowledge with experimental execution. All data, code, and models will be released publicly.