Le Chirurgien des LLM

The LLM Surgeon

December 28, 2023

Auteurs: Tycho F. A. van der Ouderaa, Markus Nagel, Mart van Baalen, Yuki M. Asano, Tijmen Blankevoort

cs.AI

Résumé

Les modèles de langage de pointe deviennent de plus en plus volumineux dans le but d'atteindre les performances les plus élevées sur de grands corpus de données textuelles disponibles. Cependant, la taille considérable des architectures Transformer rend difficile le déploiement des modèles dans des contraintes computationnelles, environnementales ou spécifiques aux appareils. Nous explorons la compression pilotée par les données de modèles pré-entraînés existants comme alternative à l'entraînement de modèles plus petits à partir de zéro. Pour ce faire, nous mettons à l'échelle les approximations de courbure factorisées par Kronecker du paysage de la fonction de perte cible pour les grands modèles de langage. Ce faisant, nous pouvons calculer à la fois l'allocation dynamique des structures qui peuvent être supprimées ainsi que les mises à jour des poids restants qui tiennent compte de la suppression. Nous fournissons un cadre général pour l'élagage non structuré, semi-structuré et structuré, et améliorons les mises à jour des poids pour capturer davantage de corrélations entre les poids, tout en restant efficace sur le plan computationnel. Expérimentalement, notre méthode peut élaguer des lignes et des colonnes d'une gamme de modèles OPT et de Llamav2-7B de 20 % à 30 %, avec une perte de performance négligeable, et atteindre des résultats de pointe dans l'élagage non structuré et semi-structuré des grands modèles de langage.

English

State-of-the-art language models are becoming increasingly large in an effort to achieve the highest performance on large corpora of available textual data. However, the sheer size of the Transformer architectures makes it difficult to deploy models within computational, environmental or device-specific constraints. We explore data-driven compression of existing pretrained models as an alternative to training smaller models from scratch. To do so, we scale Kronecker-factored curvature approximations of the target loss landscape to large language models. In doing so, we can compute both the dynamic allocation of structures that can be removed as well as updates of remaining weights that account for the removal. We provide a general framework for unstructured, semi-structured and structured pruning and improve upon weight updates to capture more correlations between weights, while remaining computationally efficient. Experimentally, our method can prune rows and columns from a range of OPT models and Llamav2-7B by 20%-30%, with a negligible loss in performance, and achieve state-of-the-art results in unstructured and semi-structured pruning of large language models.