LLaMA-NAS: Effiziente Suche nach neuronalen Architekturen für große Sprachmodelle

LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models

May 28, 2024

Autoren: Anthony Sarah, Sharath Nittur Sridhar, Maciej Szankin, Sairam Sundaresan

cs.AI

Zusammenfassung

Die Fähigkeiten moderner großer Sprachmodelle (LLMs) bei der Lösung von natürlicher Sprachverarbeitung, komplexem Denken, Sentimentanalyse und anderen Aufgaben waren außergewöhnlich, was zu ihrer umfangreichen Übernahme geführt hat. Leider gehen diese Fähigkeiten mit sehr hohen Speicher- und Rechenkosten einher, was den Einsatz von LLMs auf den meisten Hardwareplattformen ausschließt. Um dem entgegenzuwirken, schlagen wir eine effektive Methode zur Suche nach Pareto-optimalen Netzwerkarchitekturen auf Basis von LLaMA2-7B unter Verwendung von One-Shot-NAS vor. Insbesondere feinabstimmen wir LLaMA2-7B nur einmal und wenden dann eine Suche basierend auf genetischen Algorithmen an, um kleinere, weniger rechenintensive Netzwerkarchitekturen zu finden. Wir zeigen, dass das vortrainierte LLaMA2-7B-Netzwerk für bestimmte Standard-Benchmark-Aufgaben unnötig groß und komplex ist. Genauer gesagt zeigen wir eine Reduzierung der Modellgröße um das 1,5-fache und eine Beschleunigung des Durchsatzes um das 1,3-fache für bestimmte Aufgaben bei vernachlässigbarem Rückgang der Genauigkeit. Neben der Suche nach kleineren, leistungsstärkeren Netzwerkarchitekturen erreicht unsere Methode dies effektiver und effizienter als bestimmte Techniken zur Beschneidung oder Verknappung. Abschließend zeigen wir, wie die Quantisierung eine Ergänzung zu unserer Methode ist und dass die Größe und Komplexität der von uns gefundenen Netzwerke durch Quantisierung weiter verringert werden können. Wir sind der Überzeugung, dass unsere Arbeit einen Weg zur automatischen Erstellung von LLMs bietet, die auf kostengünstigeren und leichter verfügbaren Hardwareplattformen eingesetzt werden können.

English

The abilities of modern large language models (LLMs) in solving natural language processing, complex reasoning, sentiment analysis and other tasks have been extraordinary which has prompted their extensive adoption. Unfortunately, these abilities come with very high memory and computational costs which precludes the use of LLMs on most hardware platforms. To mitigate this, we propose an effective method of finding Pareto-optimal network architectures based on LLaMA2-7B using one-shot NAS. In particular, we fine-tune LLaMA2-7B only once and then apply genetic algorithm-based search to find smaller, less computationally complex network architectures. We show that, for certain standard benchmark tasks, the pre-trained LLaMA2-7B network is unnecessarily large and complex. More specifically, we demonstrate a 1.5x reduction in model size and 1.3x speedup in throughput for certain tasks with negligible drop in accuracy. In addition to finding smaller, higher-performing network architectures, our method does so more effectively and efficiently than certain pruning or sparsification techniques. Finally, we demonstrate how quantization is complementary to our method and that the size and complexity of the networks we find can be further decreased using quantization. We believe that our work provides a way to automatically create LLMs which can be used on less expensive and more readily available hardware platforms.