Verkürztes LLaMA: Eine einfache Tiefenreduzierung für große Sprachmodelle

Shortened LLaMA: A Simple Depth Pruning for Large Language Models

February 5, 2024

Autoren: Bo-Kyeong Kim, Geonmin Kim, Tae-Ho Kim, Thibault Castells, Shinkook Choi, Junho Shin, Hyoung-Kyu Song

cs.AI

Zusammenfassung

Strukturiertes Pruning moderner großer Sprachmodelle (LLMs) hat sich als Methode etabliert, um deren hohen Rechenbedarf zu verringern. Beim Width-Pruning wird die Größe der Projektionsgewichtmatrizen reduziert (z. B. durch das Entfernen von Aufmerksamkeitsköpfen), während die Anzahl der Schichten beibehalten wird. Im Gegensatz dazu entfernt Depth-Pruning ganze Schichten oder Blöcke, während die Größe der verbleibenden Gewichte unverändert bleibt. Der Großteil der aktuellen Forschung konzentriert sich entweder auf rein Width-Pruning oder eine Kombination aus Width- und Depth-Pruning, wobei vergleichende Analysen zwischen den beiden Einheiten (Width vs. Depth) hinsichtlich ihrer Auswirkungen auf die Inferenzeffizienz von LLMs kaum vorhanden sind. In dieser Arbeit zeigen wir, dass ein einfacher Depth-Pruning-Ansatz mit aktuellen Width-Pruning-Methoden in Bezug auf die Zero-Shot-Aufgabenleistung mithalten kann. Unser Pruning-Verfahren steigert die Inferenzgeschwindigkeiten, insbesondere unter speicherbeschränkten Bedingungen, die begrenzte Batch-Größen für die Ausführung von LLMs erfordern, wo Width-Pruning unwirksam ist. Wir hoffen, dass diese Arbeit dazu beitragen kann, LLMs auf lokalen und Edge-Geräten einzusetzen.

English

Structured pruning of modern large language models (LLMs) has emerged as a way of decreasing their high computational needs. Width pruning reduces the size of projection weight matrices (e.g., by removing attention heads) while maintaining the number of layers. Depth pruning, in contrast, removes entire layers or blocks, while keeping the size of the remaining weights unchanged. Most current research focuses on either width-only or a blend of width and depth pruning, with little comparative analysis between the two units (width vs. depth) concerning their impact on LLM inference efficiency. In this work, we show that a simple depth pruning approach can compete with recent width pruning methods in terms of zero-shot task performance. Our pruning method boosts inference speeds, especially under memory-constrained conditions that require limited batch sizes for running LLMs, where width pruning is ineffective. We hope this work can help deploy LLMs on local and edge devices.