Liberare il Ragionamento Scientifico per la Generazione di Protocolli Bio-sperimentali attraverso un Meccanismo Strutturato di Ricompensa Basato su Componenti

Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism

October 17, 2025

Autori: Haoran Sun, Yankai Jiang, Zhenyu Tang, Yaning Pan, Shuang Gu, Zekai Lin, Lilong Wang, Wenjie Lou, Lei Liu, Lei Bai, Xiaosong Wang

cs.AI

Abstract

Il fondamento della scienza riproducibile risiede in protocolli che siano precisi, logicamente ordinati e eseguibili. La generazione autonoma di questi protocolli attraverso query in linguaggio naturale potrebbe migliorare notevolmente l'efficienza del processo di riproduzione. Tuttavia, gli attuali modelli linguistici di grandi dimensioni (LLM) spesso generano protocolli incompleti o incoerenti, limitandone l'utilità. Per affrontare questa limitazione, introduciamo innanzitutto SciRecipe, un dataset su larga scala di oltre 12K protocolli strutturati che coprono 27 sottocampi biologici e includono sia compiti di comprensione che di problem-solving. Per migliorare ulteriormente la generazione dei protocolli, proponiamo il paradigma "Sketch-and-Fill", che separa analisi, strutturazione ed espressione per garantire che ogni passo sia esplicito e verificabile. A complemento di ciò, il meccanismo di ricompensa strutturato basato su componenti valuta la granularità dei passi, l'ordine delle azioni e la fedeltà semantica, allineando l'ottimizzazione del modello con l'affidabilità sperimentale. Basandoci su questi componenti, sviluppiamo Thoth, addestrato attraverso un processo a stadi Knowledge-to-Action che progredisce dall'acquisizione di conoscenza al ragionamento operativo e infine alla generazione di protocolli robusti e eseguibili. Su più benchmark, Thoth supera costantemente sia LLM proprietari che open-source, ottenendo miglioramenti significativi nell'allineamento dei passi, nella sequenza logica e nell'accuratezza semantica. Il nostro approccio apre la strada a assistenti scientifici affidabili che collegano la conoscenza con l'esecuzione sperimentale. Tutti i dati, il codice e i modelli saranno rilasciati pubblicamente.

English

The foundation of reproducible science lies in protocols that are precise, logically ordered, and executable. The autonomous generation of these protocols through natural language queries could greatly improve the efficiency of the reproduction process. However, current leading large language models (LLMs) often generate incomplete or inconsistent protocols, limiting their utility. To address this limitation, we first introduce SciRecipe, a large-scale dataset of over 12K structured protocols spanning 27 biological subfields and encompassing both comprehension and problem-solving tasks. To further improve protocol generation, we propose the "Sketch-and-Fill" paradigm, which separates analysis, structuring, and expression to ensure each step is explicit and verifiable. Complementing this, the structured component-based reward mechanism evaluates step granularity, action order, and semantic fidelity, aligning model optimization with experimental reliability. Building on these components, we develop Thoth, trained through a staged Knowledge-to-Action process that progresses from knowledge acquisition to operational reasoning and ultimately to robust, executable protocol generation. Across multiple benchmarks, Thoth consistently surpasses both proprietary and open-source LLMs, achieving significant improvements in step alignment, logical sequencing, and semantic accuracy. Our approach paves the way for reliable scientific assistants that bridge knowledge with experimental execution. All data, code, and models will be released publicly.