Verkorte LLaMA: Een Eenvoudige Diepte-Snoei voor Grote Taalmodellen

Shortened LLaMA: A Simple Depth Pruning for Large Language Models

February 5, 2024

Auteurs: Bo-Kyeong Kim, Geonmin Kim, Tae-Ho Kim, Thibault Castells, Shinkook Choi, Junho Shin, Hyoung-Kyu Song

cs.AI

Samenvatting

Gestructureerd snoeien van moderne grote taalmodellen (LLMs) is naar voren gekomen als een manier om hun hoge rekenbehoeften te verminderen. Breedtesnoei verkleint de grootte van projectie-gewichtmatrices (bijvoorbeeld door aandachtskoppen te verwijderen) terwijl het aantal lagen behouden blijft. Dieptesnoei daarentegen verwijdert hele lagen of blokken, terwijl de grootte van de overgebleven gewichten ongewijzigd blijft. Het meeste huidige onderzoek richt zich op ofwel alleen breedtesnoei of een combinatie van breedte- en dieptesnoei, met weinig vergelijkende analyse tussen de twee eenheden (breedte versus diepte) wat betreft hun impact op de inferentie-efficiëntie van LLMs. In dit werk tonen we aan dat een eenvoudige dieptesnoeiaanpak kan concurreren met recente breedtesnoeimethoden wat betreft zero-shot taakprestaties. Onze snoeimethode verbetert de inferentiesnelheden, vooral onder geheugenbeperkte omstandigheden die beperkte batchgroottes vereisen voor het uitvoeren van LLMs, waar breedtesnoei niet effectief is. We hopen dat dit werk kan helpen bij het implementeren van LLMs op lokale en edge-apparaten.

English

Structured pruning of modern large language models (LLMs) has emerged as a way of decreasing their high computational needs. Width pruning reduces the size of projection weight matrices (e.g., by removing attention heads) while maintaining the number of layers. Depth pruning, in contrast, removes entire layers or blocks, while keeping the size of the remaining weights unchanged. Most current research focuses on either width-only or a blend of width and depth pruning, with little comparative analysis between the two units (width vs. depth) concerning their impact on LLM inference efficiency. In this work, we show that a simple depth pruning approach can compete with recent width pruning methods in terms of zero-shot task performance. Our pruning method boosts inference speeds, especially under memory-constrained conditions that require limited batch sizes for running LLMs, where width pruning is ineffective. We hope this work can help deploy LLMs on local and edge devices.