Hyène Charognarde : Distillation de Transformers en Modèles à Convolutions Longues

Scavenging Hyena: Distilling Transformers into Long Convolution Models

January 31, 2024

Auteurs: Tokiniaina Raharison Ralambomihanta, Shahrad Mohammadzadeh, Mohammad Sami Nur Islam, Wassim Jabbour, Laurence Liang

cs.AI

Résumé

L'évolution rapide des modèles de langage à grande échelle (LLMs), incarnée par des architectures comme GPT-4, a redéfini le paysage du traitement du langage naturel. Cet article présente une approche novatrice pour répondre aux préoccupations d'efficacité liées au pré-entraînement des LLMs, en proposant l'utilisation de la distillation de connaissances pour un transfert inter-architectures. Tirant parti des insights du mécanisme efficace Hyena, notre méthode remplace les têtes d'attention dans les modèles transformateurs par Hyena, offrant une alternative économique au pré-entraînement traditionnel tout en relevant le défi du traitement des informations contextuelles longues, inhérent aux mécanismes d'attention quadratiques. Contrairement aux méthodes conventionnelles axées sur la compression, notre technique améliore non seulement la vitesse d'inférence, mais dépasse également le pré-entraînement en termes de précision et d'efficacité. À l'ère des LLMs en évolution, notre travail contribue à la quête de solutions d'IA durables, en trouvant un équilibre entre puissance de calcul et impact environnemental.

English

The rapid evolution of Large Language Models (LLMs), epitomized by architectures like GPT-4, has reshaped the landscape of natural language processing. This paper introduces a pioneering approach to address the efficiency concerns associated with LLM pre-training, proposing the use of knowledge distillation for cross-architecture transfer. Leveraging insights from the efficient Hyena mechanism, our method replaces attention heads in transformer models by Hyena, offering a cost-effective alternative to traditional pre-training while confronting the challenge of processing long contextual information, inherent in quadratic attention mechanisms. Unlike conventional compression-focused methods, our technique not only enhances inference speed but also surpasses pre-training in terms of both accuracy and efficiency. In the era of evolving LLMs, our work contributes to the pursuit of sustainable AI solutions, striking a balance between computational power and environmental impact.