LLaMA-NAS: Эффективный поиск архитектуры нейронных сетей для больших языковых моделей

LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models

May 28, 2024

Авторы: Anthony Sarah, Sharath Nittur Sridhar, Maciej Szankin, Sairam Sundaresan

cs.AI

Аннотация

Способности современных крупных языковых моделей (LLM) в решении задач обработки естественного языка, сложного рассуждения, анализа тональности и других задач были выдающимися, что привело к их широкому применению. К сожалению, эти способности сопряжены с очень высокими затратами на память и вычисления, что делает невозможным использование LLM на большинстве аппаратных платформ. Для устранения этого мы предлагаем эффективный метод нахождения сетевых архитектур, оптимальных по Парето, на основе LLaMA2-7B с использованием одношагового NAS. В частности, мы настраиваем LLaMA2-7B всего один раз, а затем применяем поиск на основе генетического алгоритма для нахождения более маленьких, менее вычислительно сложных сетевых архитектур. Мы показываем, что для определенных стандартных бенчмарков LLaMA2-7B, предварительно обученная сеть, является излишне большой и сложной. Более конкретно, мы демонстрируем уменьшение размера модели в 1,5 раза и ускорение пропускной способности в 1,3 раза для определенных задач с незначительным снижением точности. Помимо нахождения более маленьких, более производительных сетевых архитектур, наш метод делает это более эффективно и эффективно, чем некоторые техники обрезки или разреженности. Наконец, мы демонстрируем, как квантование дополняет наш метод и что размер и сложность найденных нами сетей могут быть дополнительно уменьшены с использованием квантования. Мы считаем, что наша работа предоставляет способ автоматического создания LLM, которые могут быть использованы на менее дорогих и более доступных аппаратных платформах.

English

The abilities of modern large language models (LLMs) in solving natural language processing, complex reasoning, sentiment analysis and other tasks have been extraordinary which has prompted their extensive adoption. Unfortunately, these abilities come with very high memory and computational costs which precludes the use of LLMs on most hardware platforms. To mitigate this, we propose an effective method of finding Pareto-optimal network architectures based on LLaMA2-7B using one-shot NAS. In particular, we fine-tune LLaMA2-7B only once and then apply genetic algorithm-based search to find smaller, less computationally complex network architectures. We show that, for certain standard benchmark tasks, the pre-trained LLaMA2-7B network is unnecessarily large and complex. More specifically, we demonstrate a 1.5x reduction in model size and 1.3x speedup in throughput for certain tasks with negligible drop in accuracy. In addition to finding smaller, higher-performing network architectures, our method does so more effectively and efficiently than certain pruning or sparsification techniques. Finally, we demonstrate how quantization is complementary to our method and that the size and complexity of the networks we find can be further decreased using quantization. We believe that our work provides a way to automatically create LLMs which can be used on less expensive and more readily available hardware platforms.