De Lottery LLM-hypothese: Heroverweging van Welke Vaardigheden LLM-compressie Moet Behouden?

The Lottery LLM Hypothesis, Rethinking What Abilities Should LLM Compression Preserve?

February 24, 2025

Auteurs: Zhenheng Tang, Xiang Liu, Qian Wang, Peijie Dong, Bingsheng He, Xiaowen Chu, Bo Li

cs.AI

Samenvatting

Gemotiveerd door het verminderen van de reken- en opslagkosten van LLM's, hebben modelcompressie en KV-cachecompressie veel aandacht gekregen van onderzoekers. Huidige methoden leggen echter vooral de nadruk op het behouden van de prestaties van gecomprimeerde LLM's, zoals gemeten aan de hand van perplexiteit of eenvoudige nauwkeurigheid bij taken zoals common sense kennisvragen en basis rekenkundig redeneren. In deze blog presenteren we een kort overzicht van recente vooruitgang in LLM's met betrekking tot retrieval-augmented generation, meerstaps redeneren, externe tools en computationele expressiviteit, die allemaal de prestaties van LLM's aanzienlijk verbeteren. Vervolgens stellen we een loterij-LLM-hypothese voor, die suggereert dat voor een gegeven LLM en taak er een kleinere loterij-LLM bestaat die met behulp van meerstaps redeneren en externe tools dezelfde prestaties kan leveren als het originele LLM. Op basis van het overzicht van de huidige vooruitgang in LLM's, bespreken en vatten we de essentiële capaciteiten samen die de loterij-LLM en KV-cachecompressie moeten bezitten, die momenteel over het hoofd worden gezien in bestaande methoden.

English

Motivated by reducing the computational and storage costs of LLMs, model compression and KV cache compression have attracted much attention from researchers. However, current methods predominantly emphasize maintaining the performance of compressed LLMs, as measured by perplexity or simple accuracy on tasks of common sense knowledge QA and basic arithmetic reasoning. In this blog, we present a brief review of recent advancements in LLMs related to retrieval-augmented generation, multi-step reasoning, external tools, and computational expressivity, all of which substantially enhance LLM performance. Then, we propose a lottery LLM hypothesis suggesting that for a given LLM and task, there exists a smaller lottery LLM capable of producing the same performance as the original LLM with the assistance of multi-step reasoning and external tools. Based on the review of current progress in LLMs, we discuss and summarize the essential capabilities that the lottery LLM and KV cache compression must possess, which are currently overlooked in existing methods.