BioTool: Een uitgebreide dataset voor tool-aanroeping ter verbetering van de biomedische capaciteiten van grote taalmodellen
BioTool: A Comprehensive Tool-Calling Dataset for Enhancing Biomedical Capabilities of Large Language Models
May 7, 2026
Auteurs: Xin Gao, Ruiyi Zhang, Meixi Du, Peijia Qin, Pengtao Xie
cs.AI
Samenvatting
Ondanks het succes van grote taalmmodellen (LLM's) bij algemene taken, blijft hun prestatieniveau in zeer gespecialiseerde domeinen zoals biomedicine onbevredigend. Een belangrijke beperking is het onvermogen van LLM's om effectief gebruik te maken van biomedische tools, waarop klinische experts en biomedische onderzoekers dagelijks intensief vertrouwen in hun workflows. Hoewel recente tool-aanroepdatasets uit het algemene domein de capaciteiten van LLM-agents aanzienlijk hebben verbeterd, zijn bestaande inspanningen in het biomedische domein grotendeels gebaseerd op in-context leren en beperken ze modellen tot een kleine set tools. Om deze kloof te overbruggen, introduceren wij BioTool, een uitgebreide biomedische tool-aanroepdataset ontworpen voor het fine-tunen van LLM's. BioTool omvat 34 veelgebruikte tools, verzameld uit de NCBI-, Ensembl- en UniProt-databases, samen met 7.040 hoogwaardige, door mensen geverifieerde vraag-API-aanroepparen die variatie, genomica, proteomica, evolutie en algemene biologie bestrijken. Het fine-tunen van een LLM met 4 miljard parameters op BioTool levert aanzienlijke verbeteringen op in de prestaties voor biomedische tool-aanroepen, waarbij het state-of-the-art commerciële LLM's zoals GPT-5.1 overtreft. Bovendien tonen evaluaties door menselijke experts aan dat de integratie van een met BioTool gefinetunede tool-aanroeper de kwaliteit van downstream antwoorden significant verbetert in vergelijking met dezelfde LLM zonder toolgebruik, wat de effectiviteit van BioTool bij het verbeteren van de biomedische capaciteiten van LLM's onderstreept. De volledige dataset en evaluatiecode zijn beschikbaar op https://github.com/gxx27/BioTool.
English
Despite the success of large language models (LLMs) on general-purpose tasks, their performance in highly specialized domains such as biomedicine remains unsatisfactory. A key limitation is the inability of LLMs to effectively leverage biomedical tools, which clinical experts and biomedical researchers rely on extensively in daily workflows. While recent general-domain tool-calling datasets have substantially improved the capabilities of LLM agents, existing efforts in the biomedical domain largely rely on in-context learning and restrict models to a small set of tools. To address this gap, we introduce BioTool, a comprehensive biomedical tool-calling dataset designed for fine-tuning LLMs. BioTool comprises 34 frequently used tools collected from the NCBI, Ensembl, and UniProt databases, along with 7,040 high-quality, human-verified query-API call pairs spanning variation, genomics, proteomics, evolution, and general biology. Fine-tuning a 4-billion-parameter LLM on BioTool yields substantial improvements in biomedical tool-calling performance, outperforming cutting-edge commercial LLMs such as GPT-5.1. Furthermore, human expert evaluations demonstrate that integrating a BioTool-fine-tuned tool caller significantly improves downstream answer quality compared to the same LLM without tool usage, highlighting the effectiveness of BioTool in enhancing the biomedical capabilities of LLMs. The full dataset and evaluation code are available at https://github.com/gxx27/BioTool