Liberando o Raciocínio Científico para a Geração de Protocolos Bioexperimentais via Mecanismo de Recompensa Baseado em Componentes Estruturados

Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism

October 17, 2025

Autores: Haoran Sun, Yankai Jiang, Zhenyu Tang, Yaning Pan, Shuang Gu, Zekai Lin, Lilong Wang, Wenjie Lou, Lei Liu, Lei Bai, Xiaosong Wang

cs.AI

Resumo

A base da ciência reprodutível reside em protocolos que são precisos, logicamente ordenados e executáveis. A geração autônoma desses protocolos por meio de consultas em linguagem natural poderia melhorar significativamente a eficiência do processo de reprodução. No entanto, os principais modelos de linguagem de grande escala (LLMs) atuais frequentemente geram protocolos incompletos ou inconsistentes, limitando sua utilidade. Para abordar essa limitação, primeiro apresentamos o SciRecipe, um conjunto de dados em larga escala com mais de 12 mil protocolos estruturados abrangendo 27 subáreas da biologia e incluindo tarefas de compreensão e resolução de problemas. Para melhorar ainda mais a geração de protocolos, propomos o paradigma "Esboçar-e-Preencher", que separa análise, estruturação e expressão para garantir que cada etapa seja explícita e verificável. Complementando isso, o mecanismo de recompensa baseado em componentes estruturados avalia a granularidade das etapas, a ordem das ações e a fidelidade semântica, alinhando a otimização do modelo com a confiabilidade experimental. Com base nesses componentes, desenvolvemos o Thoth, treinado por meio de um processo estagiado de Conhecimento-para-Ação que progride da aquisição de conhecimento para o raciocínio operacional e, finalmente, para a geração robusta de protocolos executáveis. Em vários benchmarks, o Thoth consistentemente supera tanto LLMs proprietários quanto de código aberto, alcançando melhorias significativas no alinhamento de etapas, sequenciamento lógico e precisão semântica. Nossa abordagem abre caminho para assistentes científicos confiáveis que conectam conhecimento com execução experimental. Todos os dados, códigos e modelos serão disponibilizados publicamente.

English

The foundation of reproducible science lies in protocols that are precise, logically ordered, and executable. The autonomous generation of these protocols through natural language queries could greatly improve the efficiency of the reproduction process. However, current leading large language models (LLMs) often generate incomplete or inconsistent protocols, limiting their utility. To address this limitation, we first introduce SciRecipe, a large-scale dataset of over 12K structured protocols spanning 27 biological subfields and encompassing both comprehension and problem-solving tasks. To further improve protocol generation, we propose the "Sketch-and-Fill" paradigm, which separates analysis, structuring, and expression to ensure each step is explicit and verifiable. Complementing this, the structured component-based reward mechanism evaluates step granularity, action order, and semantic fidelity, aligning model optimization with experimental reliability. Building on these components, we develop Thoth, trained through a staged Knowledge-to-Action process that progresses from knowledge acquisition to operational reasoning and ultimately to robust, executable protocol generation. Across multiple benchmarks, Thoth consistently surpasses both proprietary and open-source LLMs, achieving significant improvements in step alignment, logical sequencing, and semantic accuracy. Our approach paves the way for reliable scientific assistants that bridge knowledge with experimental execution. All data, code, and models will be released publicly.