Dr. LLaMA: Verbetering van Kleine Taalmodellen in Domeinspecifieke Vraag-Antwoordsystemen via Generatieve Data-Augmentatie
Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation
May 12, 2023
Auteurs: Zhen Guo, Peiqi Wang, Yanwei Wang, Shangdi Yu
cs.AI
Samenvatting
Grote Taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt in natuurlijke taalverwerking, maar worden geconfronteerd met uitdagingen op het gebied van rekenkundige kosten en inefficiëntie naarmate ze in omvang groeien, vooral bij domeinspecifieke taken. Kleine Taalmodellen (SLMs) daarentegen, hebben vaak moeite met deze taken vanwege beperkte capaciteit en trainingsdata. In dit artikel introduceren we Dr. LLaMA, een methode om SLMs te verbeteren door middel van generatieve data-augmentatie met behulp van LLMs, met een focus op medische vraag-antwoordtaken en de PubMedQA-dataset. Onze bevindingen tonen aan dat LLMs bestaande vraag-antwoordparen effectief verfijnen en diversifiëren, wat resulteert in een verbeterde prestaties van een veel kleiner model op domeinspecifieke QA-datasets na fine-tuning. Deze studie benadrukt de uitdagingen van het gebruik van LLMs voor domeinspecifieke vraag-antwoordtaken en suggereert potentiële onderzoeksrichtingen om deze beperkingen aan te pakken, met als uiteindelijk doel het creëren van efficiëntere en capabelere modellen voor gespecialiseerde toepassingen. We hebben ook onze code beschikbaar gesteld voor geïnteresseerde onderzoekers.
English
Large Language Models (LLMs) have made significant strides in natural
language processing but face challenges in terms of computational expense and
inefficiency as they grow in size, especially in domain-specific tasks. Small
Language Models (SLMs), on the other hand, often struggle in these tasks due to
limited capacity and training data. In this paper, we introduce Dr. LLaMA, a
method for improving SLMs through generative data augmentation using LLMs,
focusing on medical question-answering tasks and the PubMedQA dataset. Our
findings indicate that LLMs effectively refine and diversify existing
question-answer pairs, resulting in improved performance of a much smaller
model on domain-specific QA datasets after fine-tuning. This study highlights
the challenges of using LLMs for domain-specific question answering and
suggests potential research directions to address these limitations, ultimately
aiming to create more efficient and capable models for specialized
applications. We have also made our code available for interested researchers