Dr. LLaMA : Amélioration des petits modèles de langage pour les questions-réponses spécifiques à un domaine via l'augmentation générative de données

Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation

May 12, 2023

Auteurs: Zhen Guo, Peiqi Wang, Yanwei Wang, Shangdi Yu

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont réalisé des progrès significatifs dans le traitement du langage naturel, mais ils rencontrent des défis en termes de coût computationnel et d'inefficacité à mesure qu'ils augmentent en taille, en particulier pour les tâches spécifiques à un domaine. Les petits modèles de langage (SLMs), quant à eux, peinent souvent dans ces tâches en raison de leur capacité limitée et de données d'entraînement insuffisantes. Dans cet article, nous présentons Dr. LLaMA, une méthode visant à améliorer les SLMs grâce à l'augmentation générative de données utilisant des LLMs, en se concentrant sur les tâches de réponse à des questions médicales et le jeu de données PubMedQA. Nos résultats montrent que les LLMs affinent et diversifient efficacement les paires question-réponse existantes, ce qui améliore les performances d'un modèle beaucoup plus petit sur des ensembles de données spécifiques à un domaine après un ajustement fin. Cette étude met en lumière les difficultés liées à l'utilisation des LLMs pour la réponse à des questions spécifiques à un domaine et suggère des directions de recherche potentielles pour surmonter ces limitations, dans le but ultime de créer des modèles plus efficaces et performants pour des applications spécialisées. Nous avons également rendu notre code disponible pour les chercheurs intéressés.

English

Large Language Models (LLMs) have made significant strides in natural language processing but face challenges in terms of computational expense and inefficiency as they grow in size, especially in domain-specific tasks. Small Language Models (SLMs), on the other hand, often struggle in these tasks due to limited capacity and training data. In this paper, we introduce Dr. LLaMA, a method for improving SLMs through generative data augmentation using LLMs, focusing on medical question-answering tasks and the PubMedQA dataset. Our findings indicate that LLMs effectively refine and diversify existing question-answer pairs, resulting in improved performance of a much smaller model on domain-specific QA datasets after fine-tuning. This study highlights the challenges of using LLMs for domain-specific question answering and suggests potential research directions to address these limitations, ultimately aiming to create more efficient and capable models for specialized applications. We have also made our code available for interested researchers