Spezialisierte Sprachmodelle mit kostengünstiger Inferenz aus begrenzten Domänendaten

Specialized Language Models with Cheap Inference from Limited Domain Data

February 2, 2024

Autoren: David Grangier, Angelos Katharopoulos, Pierre Ablin, Awni Hannun

cs.AI

Zusammenfassung

Große Sprachmodelle haben sich als vielseitiges Werkzeug etabliert, sind jedoch schwierig auf Aufgaben anzuwenden, bei denen begrenzte Inferenzbudgets und kleine domänenspezifische Trainingsdatensätze vorliegen. Diese Arbeit formalisiert diese Einschränkungen und unterscheidet vier wichtige Variablen: das Pretraining-Budget (für das Training, bevor die Zieldomäne bekannt ist), das Spezialisierungsbudget (für das Training, nachdem die Zieldomäne bekannt ist), das Inferenzbudget und die Größe des domänenspezifischen Trainingsdatensatzes. In diesen Konfigurationen vergleichen wir verschiedene Ansätze aus der Literatur des maschinellen Lernens. Begrenzt durch die Inferenzkosten finden wir bessere Alternativen zur gängigen Praxis, sehr große Standard-Transformer-Modelle zu trainieren. Insbesondere zeigen wir, dass Hyper-Networks und Mixture-of-Experts-Modelle bei großen Pretraining-Budgets eine bessere Perplexität aufweisen, während kleine Modelle, die auf importance-sampled Datensätzen trainiert werden, für große Spezialisierungsbudgets attraktiv sind.

English

Large language models have emerged as a versatile tool but are challenging to apply to tasks lacking large inference budgets and large in-domain training sets. This work formalizes these constraints and distinguishes four important variables: the pretraining budget (for training before the target domain is known), the specialization budget (for training after the target domain is known), the inference budget, and the in-domain training set size. Across these settings, we compare different approaches from the machine learning literature. Limited by inference cost, we find better alternatives to the standard practice of training very large vanilla transformer models. In particular, we show that hyper-networks and mixture of experts have better perplexity for large pretraining budgets, while small models trained on importance sampled datasets are attractive for large specialization budgets.