Heroverweging van compressie: Gereduceerde-ordemodellering van latente kenmerken in grote taalmodelle

Rethinking Compression: Reduced Order Modelling of Latent Features in Large Language Models

December 12, 2023

Auteurs: Arnav Chavan, Nahush Lele, Deepak Gupta

cs.AI

Samenvatting

Vanwege de aanzienlijke omvang van Large Language Models (LLM's) blijkt de directe toepassing van conventionele compressiemethoden onpraktisch. De rekenkundige eisen die gepaard gaan met zelfs minimale gradientupdates vormen uitdagingen, met name op consumentenhardware. Dit artikel introduceert een innovatieve benadering voor de parametrische en praktische compressie van LLM's, gebaseerd op reduced order modelling, wat een lage-rang-decompositie binnen de feature space en herparameterisatie in de weight space inhoudt. Opmerkelijk is dat deze compressietechniek laaggewijs werkt, waardoor een GPU-apparaat overbodig wordt en het mogelijk wordt om modellen op miljardenschaal te comprimeren binnen strikte beperkingen van zowel geheugen als tijd. Onze methode vertegenwoordigt een significante vooruitgang in modelcompressie door gebruik te maken van matrixdecompositie, waarbij superieure effectiviteit wordt aangetoond in vergelijking met de heersende state-of-the-art gestructureerde pruning-methode.

English

Due to the substantial scale of Large Language Models (LLMs), the direct application of conventional compression methodologies proves impractical. The computational demands associated with even minimal gradient updates present challenges, particularly on consumer-grade hardware. This paper introduces an innovative approach for the parametric and practical compression of LLMs based on reduced order modelling, which entails low-rank decomposition within the feature space and re-parameterization in the weight space. Notably, this compression technique operates in a layer-wise manner, obviating the need for a GPU device and enabling the compression of billion-scale models within stringent constraints of both memory and time. Our method represents a significant advancement in model compression by leveraging matrix decomposition, demonstrating superior efficacy compared to the prevailing state-of-the-art structured pruning method.