LLaMA-NAS : Recherche Efficace d'Architecture Neuronale pour les Grands Modèles de Langage

LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models

May 28, 2024

Auteurs: Anthony Sarah, Sharath Nittur Sridhar, Maciej Szankin, Sairam Sundaresan

cs.AI

Résumé

Les capacités des modèles de langage de grande taille (LLMs) modernes à résoudre des tâches de traitement du langage naturel, de raisonnement complexe, d'analyse de sentiments et autres sont extraordinaires, ce qui a conduit à leur adoption extensive. Malheureusement, ces capacités s'accompagnent de coûts mémoire et de calcul très élevés, ce qui empêche l'utilisation des LLMs sur la plupart des plateformes matérielles. Pour remédier à cela, nous proposons une méthode efficace pour trouver des architectures de réseau Pareto-optimales basées sur LLaMA2-7B en utilisant le NAS en une seule étape. En particulier, nous affinons LLaMA2-7B une seule fois, puis appliquons une recherche basée sur un algorithme génétique pour trouver des architectures de réseau plus petites et moins complexes sur le plan computationnel. Nous montrons que, pour certaines tâches de référence standard, le réseau pré-entraîné LLaMA2-7B est inutilement grand et complexe. Plus précisément, nous démontrons une réduction de 1,5x de la taille du modèle et une accélération de 1,3x du débit pour certaines tâches, avec une baisse négligeable de la précision. En plus de trouver des architectures de réseau plus petites et plus performantes, notre méthode le fait de manière plus efficace et efficiente que certaines techniques d'élagage ou de sparsification. Enfin, nous démontrons comment la quantification est complémentaire à notre méthode et que la taille et la complexité des réseaux que nous trouvons peuvent être encore réduites grâce à la quantification. Nous pensons que notre travail offre un moyen de créer automatiquement des LLMs qui peuvent être utilisés sur des plateformes matérielles moins coûteuses et plus facilement disponibles.

English

The abilities of modern large language models (LLMs) in solving natural language processing, complex reasoning, sentiment analysis and other tasks have been extraordinary which has prompted their extensive adoption. Unfortunately, these abilities come with very high memory and computational costs which precludes the use of LLMs on most hardware platforms. To mitigate this, we propose an effective method of finding Pareto-optimal network architectures based on LLaMA2-7B using one-shot NAS. In particular, we fine-tune LLaMA2-7B only once and then apply genetic algorithm-based search to find smaller, less computationally complex network architectures. We show that, for certain standard benchmark tasks, the pre-trained LLaMA2-7B network is unnecessarily large and complex. More specifically, we demonstrate a 1.5x reduction in model size and 1.3x speedup in throughput for certain tasks with negligible drop in accuracy. In addition to finding smaller, higher-performing network architectures, our method does so more effectively and efficiently than certain pruning or sparsification techniques. Finally, we demonstrate how quantization is complementary to our method and that the size and complexity of the networks we find can be further decreased using quantization. We believe that our work provides a way to automatically create LLMs which can be used on less expensive and more readily available hardware platforms.