Превосходя тонкую настройку: раскрывая потенциал непрерывного предварительного обучения для клинических LLMs.

Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs

September 23, 2024

Авторы: Clément Christophe, Tathagata Raha, Svetlana Maslenkova, Muhammad Umar Salman, Praveen K Kanithi, Marco AF Pimentel, Shadab Khan

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали значительный потенциал в трансформации клинических приложений. В данном исследовании мы исследуем эффективность четырех техник адаптации LLM для клинических сценариев использования: непрерывное предварительное обучение, инструктивное донастройка, NEFTune и инженерия подсказок. Мы применяем эти методы к моделям Mistral 7B и Mixtral 8x7B, используя крупномасштабный набор данных для клинического предварительного обучения из 50 миллиардов токенов и набор данных для инструктивной донастройки из 500 миллионов токенов. Наша оценка по различным клиническим задачам показывает влияние каждой техники. В то время как непрерывное предварительное обучение за пределами 250 миллиардов токенов дает лишь незначительное улучшение само по себе, оно создает прочное основание для инструктивной донастройки. Заметно, что NEFTune, разработанный в первую очередь для улучшения качества генерации, удивительным образом демонстрирует дополнительные приросты на нашем бенчмарке. Сложные методы инженерии подсказок дополнительно улучшают производительность. Эти результаты показывают важность настройки стратегий донастройки и исследования инновационных методов для оптимизации производительности LLM в клинической области.

English

Large Language Models (LLMs) have demonstrated significant potential in transforming clinical applications. In this study, we investigate the efficacy of four techniques in adapting LLMs for clinical use-cases: continuous pretraining, instruct fine-tuning, NEFTune, and prompt engineering. We employ these methods on Mistral 7B and Mixtral 8x7B models, leveraging a large-scale clinical pretraining dataset of 50 billion tokens and an instruct fine-tuning dataset of 500 million tokens. Our evaluation across various clinical tasks reveals the impact of each technique. While continuous pretraining beyond 250 billion tokens yields marginal improvements on its own, it establishes a strong foundation for instruct fine-tuning. Notably, NEFTune, designed primarily to enhance generation quality, surprisingly demonstrates additional gains on our benchmark. Complex prompt engineering methods further enhance performance. These findings show the importance of tailoring fine-tuning strategies and exploring innovative techniques to optimize LLM performance in the clinical domain.