MedINST: Meta Dataset di Istruzioni Biomediche

MedINST: Meta Dataset of Biomedical Instructions

October 17, 2024

Autori: Wenhan Han, Meng Fang, Zihan Zhang, Yu Yin, Zirui Song, Ling Chen, Mykola Pechenizkiy, Qingyu Chen

cs.AI

Abstract

L'integrazione delle tecniche dei grandi modelli linguistici (LLM) nel campo dell'analisi medica ha portato a significativi progressi, tuttavia la scarsità di dataset ampi, diversificati e ben annotati rimane una sfida importante. I dati e i compiti medici, che variano in formato, dimensioni e altri parametri, richiedono un'ampia pre-elaborazione e standardizzazione per un uso efficace nell'addestramento dei LLM. Per affrontare tali sfide, presentiamo MedINST, il Meta Dataset delle Istruzioni Biomediche, un nuovo meta-dataset istruttivo multi-dominio e multi-compito. MedINST comprende 133 compiti di PNL biomedica e oltre 7 milioni di campioni di addestramento, rendendolo il dataset di istruzioni biomediche più completo ad oggi. Utilizzando MedINST come meta dataset, curiamo MedINST32, una sfida di riferimento con diverse difficoltà di compito mirata a valutare la capacità di generalizzazione dei LLM. Ottimizziamo diversi LLM su MedINST e valutiamo su MedINST32, mostrando un'accentuata generalizzazione tra compiti.

English

The integration of large language model (LLM) techniques in the field of medical analysis has brought about significant advancements, yet the scarcity of large, diverse, and well-annotated datasets remains a major challenge. Medical data and tasks, which vary in format, size, and other parameters, require extensive preprocessing and standardization for effective use in training LLMs. To address these challenges, we introduce MedINST, the Meta Dataset of Biomedical Instructions, a novel multi-domain, multi-task instructional meta-dataset. MedINST comprises 133 biomedical NLP tasks and over 7 million training samples, making it the most comprehensive biomedical instruction dataset to date. Using MedINST as the meta dataset, we curate MedINST32, a challenging benchmark with different task difficulties aiming to evaluate LLMs' generalization ability. We fine-tune several LLMs on MedINST and evaluate on MedINST32, showcasing enhanced cross-task generalization.