BioTool: Um Conjunto de Dados Abrangente de Chamada de Ferramentas para Aprimorar as Capacidades Biomédicas de Modelos de Linguagem de Grande Porte

Resumo

Apesar do sucesso dos modelos de linguagem de grande escala (LLMs) em tarefas de propósito geral, o seu desempenho em domínios altamente especializados, como a biomedicina, permanece insatisfatório. Uma limitação fundamental é a incapacidade dos LLMs de alavancar eficazmente ferramentas biomédicas, as quais são amplamente utilizadas por especialistas clínicos e investigadores biomédicos nos seus fluxos de trabalho diários. Embora conjuntos de dados recentes de chamada de ferramentas no domínio geral tenham melhorado substancialmente as capacidades dos agentes baseados em LLMs, os esforços existentes no domínio biomédico dependem largamente da aprendizagem por contexto e restringem os modelos a um pequeno conjunto de ferramentas. Para colmatar esta lacuna, apresentamos o BioTool, um conjunto de dados abrangente de chamada de ferramentas biomédicas, concebido para o ajuste fino de LLMs. O BioTool compreende 34 ferramentas de uso frequente, recolhidas das bases de dados NCBI, Ensembl e UniProt, juntamente com 7.040 pares de consulta-chamada de API de alta qualidade, verificados por humanos, abrangendo variação, genómica, proteómica, evolução e biologia geral. O ajuste fino de um LLM com 4 mil milhões de parâmetros no BioTool resulta em melhorias substanciais no desempenho de chamada de ferramentas biomédicas, superando LLMs comerciais de última geração, como o GPT-5.1. Adicionalmente, avaliações de peritos humanos demonstram que a integração de um chamador de ferramentas ajustado com o BioTool melhora significativamente a qualidade das respostas subsequentes em comparação com o mesmo LLM sem utilização de ferramentas, destacando a eficácia do BioTool no aprimoramento das capacidades biomédicas dos LLMs. O conjunto de dados completo e o código de avaliação estão disponíveis em https://github.com/gxx27/BioTool.

English

Despite the success of large language models (LLMs) on general-purpose tasks, their performance in highly specialized domains such as biomedicine remains unsatisfactory. A key limitation is the inability of LLMs to effectively leverage biomedical tools, which clinical experts and biomedical researchers rely on extensively in daily workflows. While recent general-domain tool-calling datasets have substantially improved the capabilities of LLM agents, existing efforts in the biomedical domain largely rely on in-context learning and restrict models to a small set of tools. To address this gap, we introduce BioTool, a comprehensive biomedical tool-calling dataset designed for fine-tuning LLMs. BioTool comprises 34 frequently used tools collected from the NCBI, Ensembl, and UniProt databases, along with 7,040 high-quality, human-verified query-API call pairs spanning variation, genomics, proteomics, evolution, and general biology. Fine-tuning a 4-billion-parameter LLM on BioTool yields substantial improvements in biomedical tool-calling performance, outperforming cutting-edge commercial LLMs such as GPT-5.1. Furthermore, human expert evaluations demonstrate that integrating a BioTool-fine-tuned tool caller significantly improves downstream answer quality compared to the same LLM without tool usage, highlighting the effectiveness of BioTool in enhancing the biomedical capabilities of LLMs. The full dataset and evaluation code are available at https://github.com/gxx27/BioTool