Modèles de Langage Spécialisés à Inférence Économique à partir de Données de Domaine Limité

Specialized Language Models with Cheap Inference from Limited Domain Data

February 2, 2024

Auteurs: David Grangier, Angelos Katharopoulos, Pierre Ablin, Awni Hannun

cs.AI

Résumé

Les grands modèles de langage se sont imposés comme des outils polyvalents, mais leur application à des tâches nécessitant des budgets d'inférence réduits et des ensembles d'entraînement limités dans le domaine cible reste problématique. Ce travail formalise ces contraintes et distingue quatre variables importantes : le budget de pré-entraînement (pour l'entraînement avant que le domaine cible ne soit connu), le budget de spécialisation (pour l'entraînement après que le domaine cible est connu), le budget d'inférence et la taille de l'ensemble d'entraînement dans le domaine. À travers ces configurations, nous comparons différentes approches issues de la littérature en apprentissage automatique. Limités par le coût de l'inférence, nous identifions des alternatives supérieures à la pratique standard consistant à entraîner des modèles de transformateurs très grands et non spécialisés. En particulier, nous montrons que les hyper-réseaux et les mélanges d'experts offrent une meilleure perplexité pour les budgets de pré-entraînement élevés, tandis que les petits modèles entraînés sur des ensembles de données échantillonnés par importance sont avantageux pour les budgets de spécialisation importants.

English

Large language models have emerged as a versatile tool but are challenging to apply to tasks lacking large inference budgets and large in-domain training sets. This work formalizes these constraints and distinguishes four important variables: the pretraining budget (for training before the target domain is known), the specialization budget (for training after the target domain is known), the inference budget, and the in-domain training set size. Across these settings, we compare different approaches from the machine learning literature. Limited by inference cost, we find better alternatives to the standard practice of training very large vanilla transformer models. In particular, we show that hyper-networks and mixture of experts have better perplexity for large pretraining budgets, while small models trained on importance sampled datasets are attractive for large specialization budgets.