BioTool: Ein umfassendes Tool-Aufruf-Datenset zur Verbesserung der biomedizinischen Fähigkeiten von Large Language Models

BioTool: A Comprehensive Tool-Calling Dataset for Enhancing Biomedical Capabilities of Large Language Models

May 7, 2026

Autoren: Xin Gao, Ruiyi Zhang, Meixi Du, Peijia Qin, Pengtao Xie

cs.AI

Zusammenfassung

Trotz der Erfolge großer Sprachmodelle (LLMs) bei allgemeinen Aufgaben bleibt ihre Leistung in hochspezialisierten Domänen wie der Biomedizin unbefriedigend. Eine wesentliche Einschränkung ist die Unfähigkeit von LLMs, biomedizinische Werkzeuge effektiv zu nutzen, auf die klinische Experten und biomedizinische Forscher in ihren täglichen Arbeitsabläufen umfassend angewiesen sind. Während neuere Tool-Calling-Datensätze aus dem Allgemeinbereich die Fähigkeiten von LLM-Agenten erheblich verbessert haben, stützen sich bestehende Bemühungen im biomedizinischen Bereich weitgehend auf In-Context-Learning und beschränken Modelle auf eine kleine Auswahl an Werkzeugen. Um diese Lücke zu schließen, stellen wir BioTool vor, einen umfassenden biomedizinischen Tool-Calling-Datensatz, der für das Fine-Tuning von LLMs konzipiert ist. BioTool umfasst 34 häufig genutzte Werkzeuge, die aus den Datenbanken NCBI, Ensembl und UniProt zusammengestellt wurden, sowie 7.040 hochwertige, menschlich verifizierte Abfrage-API-Aufruf-Paare, die die Bereiche Variation, Genomik, Proteomik, Evolution und allgemeine Biologie abdecken. Das Fine-Tuning eines LLM mit 4 Milliarden Parametern auf BioTool führt zu erheblichen Verbesserungen der biomedizinischen Tool-Calling-Leistung und übertrifft dabei modernste kommerzielle LLMs wie GPT-5.1. Darüber hinaus zeigen Bewertungen durch menschliche Experten, dass die Integration eines auf BioTool feinabgestimmten Tool-Callers die Qualität nachgelagerter Antworten im Vergleich zum gleichen LLM ohne Werkzeugnutzung signifikant verbessert, was die Wirksamkeit von BioTool zur Steigerung der biomedizinischen Fähigkeiten von LLMs unterstreicht. Der vollständige Datensatz und der Evaluierungscode sind unter https://github.com/gxx27/BioTool verfügbar.

English

Despite the success of large language models (LLMs) on general-purpose tasks, their performance in highly specialized domains such as biomedicine remains unsatisfactory. A key limitation is the inability of LLMs to effectively leverage biomedical tools, which clinical experts and biomedical researchers rely on extensively in daily workflows. While recent general-domain tool-calling datasets have substantially improved the capabilities of LLM agents, existing efforts in the biomedical domain largely rely on in-context learning and restrict models to a small set of tools. To address this gap, we introduce BioTool, a comprehensive biomedical tool-calling dataset designed for fine-tuning LLMs. BioTool comprises 34 frequently used tools collected from the NCBI, Ensembl, and UniProt databases, along with 7,040 high-quality, human-verified query-API call pairs spanning variation, genomics, proteomics, evolution, and general biology. Fine-tuning a 4-billion-parameter LLM on BioTool yields substantial improvements in biomedical tool-calling performance, outperforming cutting-edge commercial LLMs such as GPT-5.1. Furthermore, human expert evaluations demonstrate that integrating a BioTool-fine-tuned tool caller significantly improves downstream answer quality compared to the same LLM without tool usage, highlighting the effectiveness of BioTool in enhancing the biomedical capabilities of LLMs. The full dataset and evaluation code are available at https://github.com/gxx27/BioTool