Para Além do Ajuste Fino: Desencadeando o Potencial do Pré-treinamento Contínuo para LLMs Clínicos

Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs

September 23, 2024

Autores: Clément Christophe, Tathagata Raha, Svetlana Maslenkova, Muhammad Umar Salman, Praveen K Kanithi, Marco AF Pimentel, Shadab Khan

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado um potencial significativo na transformação de aplicações clínicas. Neste estudo, investigamos a eficácia de quatro técnicas na adaptação de LLMs para casos de uso clínico: pré-treinamento contínuo, ajuste fino instrutivo, NEFTune e engenharia de prompt. Empregamos esses métodos nos modelos Mistral 7B e Mixtral 8x7B, aproveitando um conjunto de dados de pré-treinamento clínico em larga escala de 50 bilhões de tokens e um conjunto de dados de ajuste fino instrutivo de 500 milhões de tokens. Nossa avaliação em várias tarefas clínicas revela o impacto de cada técnica. Enquanto o pré-treinamento contínuo além de 250 bilhões de tokens resulta em melhorias marginais por si só, ele estabelece uma base sólida para o ajuste fino instrutivo. Notavelmente, o NEFTune, projetado principalmente para melhorar a qualidade de geração, demonstra surpreendentemente ganhos adicionais em nosso benchmark. Métodos complexos de engenharia de prompt aprimoram ainda mais o desempenho. Essas descobertas mostram a importância de adaptar estratégias de ajuste fino e explorar técnicas inovadoras para otimizar o desempenho de LLMs no domínio clínico.

English

Large Language Models (LLMs) have demonstrated significant potential in transforming clinical applications. In this study, we investigate the efficacy of four techniques in adapting LLMs for clinical use-cases: continuous pretraining, instruct fine-tuning, NEFTune, and prompt engineering. We employ these methods on Mistral 7B and Mixtral 8x7B models, leveraging a large-scale clinical pretraining dataset of 50 billion tokens and an instruct fine-tuning dataset of 500 million tokens. Our evaluation across various clinical tasks reveals the impact of each technique. While continuous pretraining beyond 250 billion tokens yields marginal improvements on its own, it establishes a strong foundation for instruct fine-tuning. Notably, NEFTune, designed primarily to enhance generation quality, surprisingly demonstrates additional gains on our benchmark. Complex prompt engineering methods further enhance performance. These findings show the importance of tailoring fine-tuning strategies and exploring innovative techniques to optimize LLM performance in the clinical domain.