L'ipotesi della Lotteria LLM: Ripensare quali abilità dovrebbe preservare la compressione dei Modelli Linguistici di Grande Dimensione?

The Lottery LLM Hypothesis, Rethinking What Abilities Should LLM Compression Preserve?

February 24, 2025

Autori: Zhenheng Tang, Xiang Liu, Qian Wang, Peijie Dong, Bingsheng He, Xiaowen Chu, Bo Li

cs.AI

Abstract

Motivati dalla riduzione dei costi computazionali e di memorizzazione dei LLM, la compressione dei modelli e la compressione della cache KV hanno attirato molta attenzione da parte dei ricercatori. Tuttavia, i metodi attuali si concentrano principalmente sul mantenimento delle prestazioni dei LLM compressi, misurate attraverso la perplessità o l'accuratezza semplice in compiti di domande e risposte su conoscenza di senso comune e ragionamento aritmetico di base. In questo blog, presentiamo una breve rassegna dei recenti progressi nei LLM relativi alla generazione aumentata da recupero, al ragionamento a più passaggi, agli strumenti esterni e all'espressività computazionale, tutti elementi che migliorano sostanzialmente le prestazioni dei LLM. Successivamente, proponiamo un'ipotesi di LLM lotteria che suggerisce che, per un dato LLM e un determinato compito, esiste un LLM lotteria più piccolo in grado di produrre le stesse prestazioni del LLM originale con l'assistenza del ragionamento a più passaggi e degli strumenti esterni. Sulla base della rassegna dei progressi attuali nei LLM, discutiamo e riassumiamo le capacità essenziali che il LLM lotteria e la compressione della cache KV devono possedere, attualmente trascurate nei metodi esistenti.

English

Motivated by reducing the computational and storage costs of LLMs, model compression and KV cache compression have attracted much attention from researchers. However, current methods predominantly emphasize maintaining the performance of compressed LLMs, as measured by perplexity or simple accuracy on tasks of common sense knowledge QA and basic arithmetic reasoning. In this blog, we present a brief review of recent advancements in LLMs related to retrieval-augmented generation, multi-step reasoning, external tools, and computational expressivity, all of which substantially enhance LLM performance. Then, we propose a lottery LLM hypothesis suggesting that for a given LLM and task, there exists a smaller lottery LLM capable of producing the same performance as the original LLM with the assistance of multi-step reasoning and external tools. Based on the review of current progress in LLMs, we discuss and summarize the essential capabilities that the lottery LLM and KV cache compression must possess, which are currently overlooked in existing methods.