Au-delà du réglage fin : Libérer le potentiel de la préformation continue pour les LLM cliniques

Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs

September 23, 2024

Auteurs: Clément Christophe, Tathagata Raha, Svetlana Maslenkova, Muhammad Umar Salman, Praveen K Kanithi, Marco AF Pimentel, Shadab Khan

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré un potentiel significatif dans la transformation des applications cliniques. Dans cette étude, nous examinons l'efficacité de quatre techniques pour adapter les LLMs aux cas d'utilisation clinique : le pré-entraînement continu, le fine-tuning instructif, NEFTune et l'ingénierie de consignes. Nous appliquons ces méthodes sur les modèles Mistral 7B et Mixtral 8x7B, en exploitant un ensemble de données de pré-entraînement clinique à grande échelle de 50 milliards de tokens et un ensemble de données de fine-tuning instructif de 500 millions de tokens. Notre évaluation sur diverses tâches cliniques révèle l'impact de chaque technique. Alors que le pré-entraînement continu au-delà de 250 milliards de tokens apporte des améliorations marginales par lui-même, il établit une base solide pour le fine-tuning instructif. Notamment, NEFTune, conçu principalement pour améliorer la qualité de génération, démontre de manière surprenante des gains supplémentaires sur notre référentiel. Les méthodes complexes d'ingénierie de consignes améliorent encore les performances. Ces résultats montrent l'importance d'adapter les stratégies de fine-tuning et d'explorer des techniques innovantes pour optimiser les performances des LLMs dans le domaine clinique.

English

Large Language Models (LLMs) have demonstrated significant potential in transforming clinical applications. In this study, we investigate the efficacy of four techniques in adapting LLMs for clinical use-cases: continuous pretraining, instruct fine-tuning, NEFTune, and prompt engineering. We employ these methods on Mistral 7B and Mixtral 8x7B models, leveraging a large-scale clinical pretraining dataset of 50 billion tokens and an instruct fine-tuning dataset of 500 million tokens. Our evaluation across various clinical tasks reveals the impact of each technique. While continuous pretraining beyond 250 billion tokens yields marginal improvements on its own, it establishes a strong foundation for instruct fine-tuning. Notably, NEFTune, designed primarily to enhance generation quality, surprisingly demonstrates additional gains on our benchmark. Complex prompt engineering methods further enhance performance. These findings show the importance of tailoring fine-tuning strategies and exploring innovative techniques to optimize LLM performance in the clinical domain.