Modelli Linguistici Specializzati con Inferenza Economica da Dati di Dominio Limitato

Specialized Language Models with Cheap Inference from Limited Domain Data

February 2, 2024

Autori: David Grangier, Angelos Katharopoulos, Pierre Ablin, Awni Hannun

cs.AI

Abstract

I grandi modelli linguistici sono emersi come strumenti versatili, ma risulta impegnativo applicarli a compiti che non dispongono di ampi budget di inferenza e di grandi set di addestramento in dominio. Questo lavoro formalizza tali vincoli e distingue quattro variabili importanti: il budget di pre-addestramento (per l'addestramento prima che il dominio target sia noto), il budget di specializzazione (per l'addestramento dopo che il dominio target è noto), il budget di inferenza e la dimensione del set di addestramento in dominio. In queste configurazioni, confrontiamo diversi approcci tratti dalla letteratura del machine learning. Limitati dal costo di inferenza, individuiamo alternative migliori rispetto alla pratica standard di addestrare modelli transformer molto grandi e standard. In particolare, dimostriamo che le iper-reti e le miscele di esperti offrono una migliore perplessità per grandi budget di pre-addestramento, mentre modelli di piccole dimensioni addestrati su dataset campionati in base all'importanza risultano vantaggiosi per grandi budget di specializzazione.

English

Large language models have emerged as a versatile tool but are challenging to apply to tasks lacking large inference budgets and large in-domain training sets. This work formalizes these constraints and distinguishes four important variables: the pretraining budget (for training before the target domain is known), the specialization budget (for training after the target domain is known), the inference budget, and the in-domain training set size. Across these settings, we compare different approaches from the machine learning literature. Limited by inference cost, we find better alternatives to the standard practice of training very large vanilla transformer models. In particular, we show that hyper-networks and mixture of experts have better perplexity for large pretraining budgets, while small models trained on importance sampled datasets are attractive for large specialization budgets.