Gespecialiseerde Taalmodellen met Goedkope Inferentie uit Beperkte Domeindata

Specialized Language Models with Cheap Inference from Limited Domain Data

February 2, 2024

Auteurs: David Grangier, Angelos Katharopoulos, Pierre Ablin, Awni Hannun

cs.AI

Samenvatting

Grote taalmodelen zijn naar voren gekomen als een veelzijdig hulpmiddel, maar zijn lastig toe te passen op taken waarbij geen grote inferentiebudgetten en grote in-domein trainingssets beschikbaar zijn. Dit werk formaliseert deze beperkingen en onderscheidt vier belangrijke variabelen: het pretrainingsbudget (voor training voordat het doeldomein bekend is), het specialisatiebudget (voor training nadat het doeldomein bekend is), het inferentiebudget en de grootte van de in-domein trainingsset. Binnen deze contexten vergelijken we verschillende benaderingen uit de machine learning-literatuur. Beperkt door de inferentiekosten vinden we betere alternatieven voor de standaardpraktijk van het trainen van zeer grote standaard transformer-modellen. In het bijzonder laten we zien dat hyper-netwerken en mengsels van experts betere perplexiteit bieden bij grote pretrainingsbudgetten, terwijl kleine modellen die getraind zijn op datasets met belangstellingssteekproeven aantrekkelijk zijn bij grote specialisatiebudgetten.

English

Large language models have emerged as a versatile tool but are challenging to apply to tasks lacking large inference budgets and large in-domain training sets. This work formalizes these constraints and distinguishes four important variables: the pretraining budget (for training before the target domain is known), the specialization budget (for training after the target domain is known), the inference budget, and the in-domain training set size. Across these settings, we compare different approaches from the machine learning literature. Limited by inference cost, we find better alternatives to the standard practice of training very large vanilla transformer models. In particular, we show that hyper-networks and mixture of experts have better perplexity for large pretraining budgets, while small models trained on importance sampled datasets are attractive for large specialization budgets.