Dr. LLaMA: Улучшение небольших языковых моделей для предметно-ориентированных вопросно-ответных систем с помощью генеративного расширения данных
Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation
May 12, 2023
Авторы: Zhen Guo, Peiqi Wang, Yanwei Wang, Shangdi Yu
cs.AI
Аннотация
Крупные языковые модели (LLM) достигли значительных успехов в обработке естественного языка, однако сталкиваются с проблемами, связанными с вычислительными затратами и неэффективностью по мере увеличения их размера, особенно в задачах, специфичных для определённых областей. С другой стороны, малые языковые модели (SLM) часто испытывают трудности в таких задачах из-за ограниченной ёмкости и объёма обучающих данных. В данной статье мы представляем метод Dr. LLaMA, направленный на улучшение SLM путём генеративного расширения данных с использованием LLM, с акцентом на задачи ответов на медицинские вопросы и набор данных PubMedQA. Наши результаты показывают, что LLM эффективно уточняют и разнообразят существующие пары вопросов и ответов, что приводит к улучшению производительности значительно меньшей модели на специализированных наборах данных после тонкой настройки. Это исследование подчеркивает сложности использования LLM для ответов на вопросы в узких областях и предлагает потенциальные направления исследований для преодоления этих ограничений, в конечном итоге стремясь к созданию более эффективных и мощных моделей для специализированных приложений. Мы также сделали наш код доступным для заинтересованных исследователей.
English
Large Language Models (LLMs) have made significant strides in natural
language processing but face challenges in terms of computational expense and
inefficiency as they grow in size, especially in domain-specific tasks. Small
Language Models (SLMs), on the other hand, often struggle in these tasks due to
limited capacity and training data. In this paper, we introduce Dr. LLaMA, a
method for improving SLMs through generative data augmentation using LLMs,
focusing on medical question-answering tasks and the PubMedQA dataset. Our
findings indicate that LLMs effectively refine and diversify existing
question-answer pairs, resulting in improved performance of a much smaller
model on domain-specific QA datasets after fine-tuning. This study highlights
the challenges of using LLMs for domain-specific question answering and
suggests potential research directions to address these limitations, ultimately
aiming to create more efficient and capable models for specialized
applications. We have also made our code available for interested researchers