Специализированные языковые модели с дешёвым выводом на основе ограниченных данных из предметной области

Specialized Language Models with Cheap Inference from Limited Domain Data

February 2, 2024

Авторы: David Grangier, Angelos Katharopoulos, Pierre Ablin, Awni Hannun

cs.AI

Аннотация

Крупные языковые модели стали универсальным инструментом, однако их применение к задачам, требующим значительных вычислительных ресурсов для вывода и больших обучающих наборов данных в целевой области, остается сложным. В данной работе формализуются эти ограничения и выделяются четыре ключевых параметра: бюджет предварительного обучения (для обучения до определения целевой области), бюджет специализации (для обучения после определения целевой области), бюджет вывода и размер обучающего набора данных в целевой области. В рамках этих условий мы сравниваем различные подходы из литературы по машинному обучению. Ограниченные стоимостью вывода, мы находим более эффективные альтернативы стандартной практике обучения очень крупных базовых трансформерных моделей. В частности, мы показываем, что гиперсети и смеси экспертов демонстрируют лучшую перплексию при больших бюджетах предварительного обучения, в то время как небольшие модели, обученные на наборах данных с важностным выбором, оказываются предпочтительными при больших бюджетах специализации.

English

Large language models have emerged as a versatile tool but are challenging to apply to tasks lacking large inference budgets and large in-domain training sets. This work formalizes these constraints and distinguishes four important variables: the pretraining budget (for training before the target domain is known), the specialization budget (for training after the target domain is known), the inference budget, and the in-domain training set size. Across these settings, we compare different approaches from the machine learning literature. Limited by inference cost, we find better alternatives to the standard practice of training very large vanilla transformer models. In particular, we show that hyper-networks and mixture of experts have better perplexity for large pretraining budgets, while small models trained on importance sampled datasets are attractive for large specialization budgets.