Oltre il fine-tuning: Sfruttare il Potenziale del Pretraining Continuo per LLM Clinici

Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs

September 23, 2024

Autori: Clément Christophe, Tathagata Raha, Svetlana Maslenkova, Muhammad Umar Salman, Praveen K Kanithi, Marco AF Pimentel, Shadab Khan

cs.AI

Abstract

I Large Language Models (LLM) hanno dimostrato un significativo potenziale nel trasformare le applicazioni cliniche. In questo studio, indaghiamo sull'efficacia di quattro tecniche nell'adattare LLM per casi d'uso clinici: preaddestramento continuo, fine-tuning istruito, NEFTune e ingegneria del prompt. Applichiamo questi metodi sui modelli Mistral 7B e Mixtral 8x7B, sfruttando un dataset di preaddestramento clinico su larga scala di 50 miliardi di token e un dataset di fine-tuning istruito di 500 milioni di token. La nostra valutazione su vari compiti clinici rivela l'impatto di ciascuna tecnica. Mentre il preaddestramento continuo oltre i 250 miliardi di token porta a miglioramenti marginali da solo, stabilisce una solida base per il fine-tuning istruito. In particolare, NEFTune, progettato principalmente per migliorare la qualità della generazione, dimostra sorprendentemente guadagni aggiuntivi sul nostro benchmark. Metodi complessi di ingegneria del prompt migliorano ulteriormente le prestazioni. Queste scoperte mostrano l'importanza di adattare le strategie di fine-tuning ed esplorare tecniche innovative per ottimizzare le prestazioni di LLM nel dominio clinico.

English

Large Language Models (LLMs) have demonstrated significant potential in transforming clinical applications. In this study, we investigate the efficacy of four techniques in adapting LLMs for clinical use-cases: continuous pretraining, instruct fine-tuning, NEFTune, and prompt engineering. We employ these methods on Mistral 7B and Mixtral 8x7B models, leveraging a large-scale clinical pretraining dataset of 50 billion tokens and an instruct fine-tuning dataset of 500 million tokens. Our evaluation across various clinical tasks reveals the impact of each technique. While continuous pretraining beyond 250 billion tokens yields marginal improvements on its own, it establishes a strong foundation for instruct fine-tuning. Notably, NEFTune, designed primarily to enhance generation quality, surprisingly demonstrates additional gains on our benchmark. Complex prompt engineering methods further enhance performance. These findings show the importance of tailoring fine-tuning strategies and exploring innovative techniques to optimize LLM performance in the clinical domain.