Dr. LLaMA: Verbesserung kleiner Sprachmodelle in domänenspezifischer Frage-Antwort-Systematik durch generative Datenanreicherung
Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation
May 12, 2023
Autoren: Zhen Guo, Peiqi Wang, Yanwei Wang, Shangdi Yu
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) haben bedeutende Fortschritte in der natürlichen Sprachverarbeitung erzielt, stehen jedoch vor Herausforderungen in Bezug auf Rechenaufwand und Ineffizienz, insbesondere bei domänenspezifischen Aufgaben, wenn sie an Größe zunehmen. Kleine Sprachmodelle (SLMs) hingegen kämpfen oft mit diesen Aufgaben aufgrund begrenzter Kapazität und Trainingsdaten. In diesem Artikel stellen wir Dr. LLaMA vor, eine Methode zur Verbesserung von SLMs durch generative Datenanreicherung unter Verwendung von LLMs, mit Fokus auf medizinische Frage-Antwort-Aufgaben und den PubMedQA-Datensatz. Unsere Ergebnisse zeigen, dass LLMs bestehende Frage-Antwort-Paare effektiv verfeinern und diversifizieren, was zu einer verbesserten Leistung eines viel kleineren Modells auf domänenspezifischen Frage-Antwort-Datensätzen nach dem Feinabstimmen führt. Diese Studie beleuchtet die Herausforderungen bei der Verwendung von LLMs für domänenspezifische Frage-Antwort-Systeme und schlägt potenzielle Forschungsrichtungen vor, um diese Einschränkungen zu überwinden, mit dem Ziel, effizientere und leistungsfähigere Modelle für spezialisierte Anwendungen zu schaffen. Wir haben unseren Code auch für interessierte Forscher verfügbar gemacht.
English
Large Language Models (LLMs) have made significant strides in natural
language processing but face challenges in terms of computational expense and
inefficiency as they grow in size, especially in domain-specific tasks. Small
Language Models (SLMs), on the other hand, often struggle in these tasks due to
limited capacity and training data. In this paper, we introduce Dr. LLaMA, a
method for improving SLMs through generative data augmentation using LLMs,
focusing on medical question-answering tasks and the PubMedQA dataset. Our
findings indicate that LLMs effectively refine and diversify existing
question-answer pairs, resulting in improved performance of a much smaller
model on domain-specific QA datasets after fine-tuning. This study highlights
the challenges of using LLMs for domain-specific question answering and
suggests potential research directions to address these limitations, ultimately
aiming to create more efficient and capable models for specialized
applications. We have also made our code available for interested researchers