Раскрытие научного мышления для генерации биоэкспериментальных протоколов посредством структурированного компонентного механизма вознаграждения

Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism

October 17, 2025

Авторы: Haoran Sun, Yankai Jiang, Zhenyu Tang, Yaning Pan, Shuang Gu, Zekai Lin, Lilong Wang, Wenjie Lou, Lei Liu, Lei Bai, Xiaosong Wang

cs.AI

Аннотация

Основой воспроизводимой науки являются протоколы, которые точны, логически упорядочены и выполнимы. Автономная генерация таких протоколов с помощью запросов на естественном языке может значительно повысить эффективность процесса воспроизведения. Однако современные ведущие крупные языковые модели (LLM) часто генерируют неполные или противоречивые протоколы, что ограничивает их полезность. Чтобы устранить этот недостаток, мы сначала представляем SciRecipe — масштабный набор данных, содержащий более 12 тысяч структурированных протоколов, охватывающих 27 биологических подразделов и включающих как задачи на понимание, так и на решение проблем. Для дальнейшего улучшения генерации протоколов мы предлагаем парадигму "Эскиз-и-Заполнение", которая разделяет анализ, структурирование и выражение, чтобы каждый шаг был явным и проверяемым. Дополняя это, структурированный компонентный механизм вознаграждения оценивает детализацию шагов, порядок действий и семантическую точность, согласовывая оптимизацию модели с надежностью эксперимента. На основе этих компонентов мы разрабатываем Thoth, обученный через поэтапный процесс "Знание-в-Действие", который переходит от приобретения знаний к операционному рассуждению и, в конечном итоге, к генерации надежных и выполнимых протоколов. На множестве тестов Thoth последовательно превосходит как проприетарные, так и открытые LLM, демонстрируя значительные улучшения в согласованности шагов, логической последовательности и семантической точности. Наш подход прокладывает путь к созданию надежных научных ассистентов, которые связывают знания с экспериментальным исполнением. Все данные, код и модели будут опубликованы в открытом доступе.

English

The foundation of reproducible science lies in protocols that are precise, logically ordered, and executable. The autonomous generation of these protocols through natural language queries could greatly improve the efficiency of the reproduction process. However, current leading large language models (LLMs) often generate incomplete or inconsistent protocols, limiting their utility. To address this limitation, we first introduce SciRecipe, a large-scale dataset of over 12K structured protocols spanning 27 biological subfields and encompassing both comprehension and problem-solving tasks. To further improve protocol generation, we propose the "Sketch-and-Fill" paradigm, which separates analysis, structuring, and expression to ensure each step is explicit and verifiable. Complementing this, the structured component-based reward mechanism evaluates step granularity, action order, and semantic fidelity, aligning model optimization with experimental reliability. Building on these components, we develop Thoth, trained through a staged Knowledge-to-Action process that progresses from knowledge acquisition to operational reasoning and ultimately to robust, executable protocol generation. Across multiple benchmarks, Thoth consistently surpasses both proprietary and open-source LLMs, achieving significant improvements in step alignment, logical sequencing, and semantic accuracy. Our approach paves the way for reliable scientific assistants that bridge knowledge with experimental execution. All data, code, and models will be released publicly.