로또 LLM 가설: LLM 압축이 보존해야 할 능력에 대한 재고

The Lottery LLM Hypothesis, Rethinking What Abilities Should LLM Compression Preserve?

February 24, 2025

저자: Zhenheng Tang, Xiang Liu, Qian Wang, Peijie Dong, Bingsheng He, Xiaowen Chu, Bo Li

cs.AI

초록

대형 언어 모델(LLM)의 계산 및 저장 비용을 줄이려는 동기로 인해, 모델 압축과 키-값(KV) 캐시 압축은 연구자들로부터 많은 관심을 받고 있습니다. 그러나 현재의 방법들은 주로 상식 지식 질의응답(QA) 및 기본 산술 추론 과제에서의 복잡도(perplexity) 또는 단순 정확도를 기준으로 압축된 LLM의 성능 유지에 초점을 맞추고 있습니다. 이 블로그에서는 검색 증강 생성(retrieval-augmented generation), 다단계 추론, 외부 도구 활용, 그리고 계산적 표현력과 관련된 최근 LLM의 발전을 간략히 살펴보고, 이러한 요소들이 LLM의 성능을 크게 향상시킨다는 점을 설명합니다. 이어서, 우리는 특정 LLM과 과제에 대해 다단계 추론과 외부 도구의 도움을 받아 원본 LLM과 동일한 성능을 내는 더 작은 "로또 LLM(lottery LLM)"이 존재할 수 있다는 가설을 제안합니다. LLM의 현재 발전 상황을 검토한 후, 우리는 기존 방법들에서 간과되고 있는 로또 LLM과 KV 캐시 압축이 반드시 갖춰야 할 핵심 역량에 대해 논의하고 요약합니다.

English

Motivated by reducing the computational and storage costs of LLMs, model compression and KV cache compression have attracted much attention from researchers. However, current methods predominantly emphasize maintaining the performance of compressed LLMs, as measured by perplexity or simple accuracy on tasks of common sense knowledge QA and basic arithmetic reasoning. In this blog, we present a brief review of recent advancements in LLMs related to retrieval-augmented generation, multi-step reasoning, external tools, and computational expressivity, all of which substantially enhance LLM performance. Then, we propose a lottery LLM hypothesis suggesting that for a given LLM and task, there exists a smaller lottery LLM capable of producing the same performance as the original LLM with the assistance of multi-step reasoning and external tools. Based on the review of current progress in LLMs, we discuss and summarize the essential capabilities that the lottery LLM and KV cache compression must possess, which are currently overlooked in existing methods.