Über das Feintuning hinaus: Das Potenzial der kontinuierlichen Vortrainierung für klinische LLMs freisetzen

Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs

September 23, 2024

Autoren: Clément Christophe, Tathagata Raha, Svetlana Maslenkova, Muhammad Umar Salman, Praveen K Kanithi, Marco AF Pimentel, Shadab Khan

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben ein signifikantes Potenzial bei der Transformation klinischer Anwendungen gezeigt. In dieser Studie untersuchen wir die Wirksamkeit von vier Techniken zur Anpassung von LLMs für klinische Anwendungsfälle: kontinuierliches Vortraining, instruktionsbasiertes Feintuning, NEFTune und Prompt-Engineering. Wir wenden diese Methoden auf die Mistral 7B und Mixtral 8x7B Modelle an, wobei wir einen umfangreichen klinischen Vortrainingsdatensatz von 50 Milliarden Tokens und einen instruktionsbasierten Feintuning-Datensatz von 500 Millionen Tokens nutzen. Unsere Bewertung über verschiedene klinische Aufgaben hinweg zeigt die Auswirkungen jeder Technik. Während kontinuierliches Vortraining über 250 Milliarden Tokens hinaus nur geringfügige Verbesserungen allein bringt, legt es eine solide Grundlage für instruktionsbasiertes Feintuning. Bemerkenswerterweise zeigt NEFTune, das hauptsächlich zur Verbesserung der Generierungsqualität entwickelt wurde, überraschenderweise zusätzliche Gewinne in unserem Benchmark. Komplexe Prompt-Engineering-Methoden steigern die Leistung weiter. Diese Ergebnisse zeigen die Bedeutung der Anpassung von Feintuning-Strategien und der Erkundung innovativer Techniken zur Optimierung der Leistung von LLMs im klinischen Bereich.

English

Large Language Models (LLMs) have demonstrated significant potential in transforming clinical applications. In this study, we investigate the efficacy of four techniques in adapting LLMs for clinical use-cases: continuous pretraining, instruct fine-tuning, NEFTune, and prompt engineering. We employ these methods on Mistral 7B and Mixtral 8x7B models, leveraging a large-scale clinical pretraining dataset of 50 billion tokens and an instruct fine-tuning dataset of 500 million tokens. Our evaluation across various clinical tasks reveals the impact of each technique. While continuous pretraining beyond 250 billion tokens yields marginal improvements on its own, it establishes a strong foundation for instruct fine-tuning. Notably, NEFTune, designed primarily to enhance generation quality, surprisingly demonstrates additional gains on our benchmark. Complex prompt engineering methods further enhance performance. These findings show the importance of tailoring fine-tuning strategies and exploring innovative techniques to optimize LLM performance in the clinical domain.