Die Lottery-LLM-Hypothese: Überdenken, welche Fähigkeiten die LLM-Kompression bewahren sollte?

The Lottery LLM Hypothesis, Rethinking What Abilities Should LLM Compression Preserve?

February 24, 2025

Autoren: Zhenheng Tang, Xiang Liu, Qian Wang, Peijie Dong, Bingsheng He, Xiaowen Chu, Bo Li

cs.AI

Zusammenfassung

Motiviert durch die Reduzierung der Rechen- und Speicherkosten von LLMs (Large Language Models) haben Modellkompression und KV-Cache-Kompression viel Aufmerksamkeit von Forschern auf sich gezogen. Allerdings konzentrieren sich aktuelle Methoden hauptsächlich darauf, die Leistung komprimierter LLMs aufrechtzuerhalten, gemessen an Perplexität oder einfacher Genauigkeit bei Aufgaben wie Common-Sense-Wissensfragen und grundlegender arithmetischer Logik. In diesem Blog präsentieren wir einen kurzen Überblick über die jüngsten Fortschritte bei LLMs im Zusammenhang mit retrieval-augmentierter Generierung, mehrschrittigem Schlussfolgern, externen Werkzeugen und rechnerischer Ausdrucksfähigkeit, die allesamt die Leistung von LLMs erheblich verbessern. Anschließend stellen wir eine Lotterie-LLM-Hypothese vor, die besagt, dass es für ein gegebenes LLM und eine gegebene Aufgabe ein kleineres Lotterie-LLM gibt, das mit Hilfe von mehrschrittigem Schlussfolgern und externen Werkzeugen die gleiche Leistung wie das ursprüngliche LLM erzielen kann. Basierend auf der Überprüfung des aktuellen Fortschritts bei LLMs diskutieren und fassen wir die wesentlichen Fähigkeiten zusammen, die das Lotterie-LLM und die KV-Cache-Kompression besitzen müssen, die in bestehenden Methoden derzeit übersehen werden.

English

Motivated by reducing the computational and storage costs of LLMs, model compression and KV cache compression have attracted much attention from researchers. However, current methods predominantly emphasize maintaining the performance of compressed LLMs, as measured by perplexity or simple accuracy on tasks of common sense knowledge QA and basic arithmetic reasoning. In this blog, we present a brief review of recent advancements in LLMs related to retrieval-augmented generation, multi-step reasoning, external tools, and computational expressivity, all of which substantially enhance LLM performance. Then, we propose a lottery LLM hypothesis suggesting that for a given LLM and task, there exists a smaller lottery LLM capable of producing the same performance as the original LLM with the assistance of multi-step reasoning and external tools. Based on the review of current progress in LLMs, we discuss and summarize the essential capabilities that the lottery LLM and KV cache compression must possess, which are currently overlooked in existing methods.