랜덤 어텐션: 효율적 추론을 위한 KV 캐시 축출 재고찰

Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning

September 3, 2026

저자: Heng Wang, Jielin Qiu, Wenting Zhao, Cheng Qian, Liangwei Yang, Jiawei Han, Heng Ji, Silvio Savarese, Shelby Heinecke, Huan Wang

cs.AI

초록

대규모 언어 모델은 확장된 추론이 필요한 작업에서 우수한 성능을 달성하지만, 길게 이어지는 사고 과정은 KV 캐시를 심각한 메모리 병목으로 만든다. 기존의 KV 캐시 압축 기법들은 공통된 패러다임을 따른다. 즉, 캐시된 각 토큰에 그 토큰이 나중에 얼마나 중요할지에 대한 추정치를 점수로 부여하고, 높은 점수를 받은 토큰들을 유지하는 것이다. 우리는 선택 신호가 거의 아무 기여도 하지 않음을 보인다. Random Attention은 프롬프트를 유지하고 각 어텐션 헤드 내에서 토큰을 균일하게 무작위로 축출하며, 점수를 전혀 계산하지 않는다. 이 방법은 네 개의 모델과 여섯 개의 추론 과제에서 기존의 가장 강력한 축출 기법과 동등한 성능을 보이는 동시에, vLLM 배포 환경에서는 그 기법보다 32-43% 더 높은 처리량을 제공한다. 통제 실험은 이를 다음과 같이 설명한다. 첫째, 프롬프트는 캐시에서 취약한 부분이며, 선택 기법 간 성능 격차의 대부분은 단지 선택 신호가 우연히 프롬프트를 보존했는지의 여부일 뿐이다. 둘째, 추론 트레이스는 텍스트 내부와 어텐션 헤드들 간, 두 수준의 중복성을 통해 축출로부터 스스로를 보호한다. 텍스트 내부에서는 모델이 작업하면서도 여전히 필요한 내용을 다시 서술하며, 어텐션 헤드들 간에는 각 헤드가 해당 트레이스의 자체 사본을 유지한다. 따라서 프롬프트가 안전하게 보존되면, 무작위 추출만으로도 모델이 여전히 필요로 하는 내용의 충분한 사본이 유지되며, 이들을 선택하는 데 점수는 요구되지 않는다. 코드는 https://github.com/SalesforceAIResearch/Random-Attention에서 공개적으로 이용할 수 있다.

English

Large language models achieve superior performance on tasks that require extended reasoning, but long chains of thought make the KV cache a severe memory bottleneck. Existing KV cache compression methods share one paradigm: score each cached token by some estimate of how much it will matter later, and keep the top-scoring ones. We show that the selection signal contributes almost nothing. Random Attention keeps the prompt and evicts uniformly at random within each attention head, computing no score at all; across four models and six reasoning tasks it matches the strongest prior evictor while serving 32-43% higher throughput than it in vLLM deployment. Controlled experiments explain this by showing that 1) the prompt is the fragile part of the cache, and most of the gap between selectors is just whether their selection signal happened to keep it; 2) the reasoning trace protects itself against eviction with redundancy at two levels, in the text (the model restates what it still needs as it works) and across attention heads (each keeps its own copy of the trace), so once the prompt is safe, a random draw retains enough copies of what the model still needs, and no score is required to pick them. Our code is publicly available at https://github.com/SalesforceAIResearch/Random-Attention.