Сокращённая LLaMA: Простое сокращение глубины для больших языковых моделей

Shortened LLaMA: A Simple Depth Pruning for Large Language Models

February 5, 2024

Авторы: Bo-Kyeong Kim, Geonmin Kim, Tae-Ho Kim, Thibault Castells, Shinkook Choi, Junho Shin, Hyoung-Kyu Song

cs.AI

Аннотация

Структурированное прореживание современных крупных языковых моделей (LLM) стало способом снижения их высоких вычислительных потребностей. Прореживание по ширине уменьшает размер матриц проекционных весов (например, за счет удаления голов внимания), сохраняя при этом количество слоев. В отличие от этого, прореживание по глубине удаляет целые слои или блоки, оставляя размер оставшихся весов неизменным. Большинство современных исследований сосредоточено либо исключительно на прореживании по ширине, либо на сочетании прореживания по ширине и глубине, при этом практически отсутствует сравнительный анализ между этими двумя подходами (ширина против глубины) с точки зрения их влияния на эффективность вывода LLM. В данной работе мы показываем, что простой подход к прореживанию по глубине может конкурировать с современными методами прореживания по ширине с точки зрения производительности на задачах с нулевым обучением. Наш метод прореживания повышает скорость вывода, особенно в условиях ограниченной памяти, где требуется использование небольших размеров пакетов для запуска LLM, при которых прореживание по ширине неэффективно. Мы надеемся, что эта работа поможет в развертывании LLM на локальных и периферийных устройствах.

English

Structured pruning of modern large language models (LLMs) has emerged as a way of decreasing their high computational needs. Width pruning reduces the size of projection weight matrices (e.g., by removing attention heads) while maintaining the number of layers. Depth pruning, in contrast, removes entire layers or blocks, while keeping the size of the remaining weights unchanged. Most current research focuses on either width-only or a blend of width and depth pruning, with little comparative analysis between the two units (width vs. depth) concerning their impact on LLM inference efficiency. In this work, we show that a simple depth pruning approach can compete with recent width pruning methods in terms of zero-shot task performance. Our pruning method boosts inference speeds, especially under memory-constrained conditions that require limited batch sizes for running LLMs, where width pruning is ineffective. We hope this work can help deploy LLMs on local and edge devices.