긴 문맥 추론을 위한 프롬프트 압축 방법 특성화

Characterizing Prompt Compression Methods for Long Context Inference

July 11, 2024

저자: Siddharth Jha, Lutfi Eren Erdogan, Sehoon Kim, Kurt Keutzer, Amir Gholami

cs.AI

초록

긴 문맥 추론은 시스템 수준에서 증가된 계산 및 메모리 요구 사항과 더불어, 긴 문맥에 대한 추론 능력이라는 정확도 측면에서도 도전 과제를 제시합니다. 최근에는 문맥 길이를 줄이기 위해 프롬프트를 압축하는 여러 방법이 제안되었습니다. 그러나 이러한 다양한 방법들을 표준화된 분석을 통해 여러 작업에 걸쳐 비교한 연구는 거의 이루어지지 않았습니다. 이로 인해 상충되는 결과가 나타나고 있습니다. 이를 해결하기 위해, 본 연구에서는 다양한 프롬프트 압축 방법에 대한 포괄적인 특성 분석과 평가를 수행합니다. 특히, 추출적 압축, 요약 기반의 추상적 압축, 그리고 토큰 제거 방법을 분석합니다. 놀랍게도, 추출적 압축이 종종 다른 모든 접근법을 능가하며, 최대 10배의 압축률을 달성하면서도 정확도 저하가 최소화되는 것으로 나타났습니다. 흥미롭게도, 최근 여러 주장에도 불구하고, 토큰 제거 방법은 종종 추출적 압축에 뒤처지는 것으로 확인되었습니다. 요약 작업에서는 미미한 개선만이 관찰되었습니다.

English

Long context inference presents challenges at the system level with increased compute and memory requirements, as well as from an accuracy perspective in being able to reason over long contexts. Recently, several methods have been proposed to compress the prompt to reduce the context length. However, there has been little work on comparing the different proposed methods across different tasks through a standardized analysis. This has led to conflicting results. To address this, here we perform a comprehensive characterization and evaluation of different prompt compression methods. In particular, we analyze extractive compression, summarization-based abstractive compression, and token pruning methods. Surprisingly, we find that extractive compression often outperforms all the other approaches, and enables up to 10x compression with minimal accuracy degradation. Interestingly, we also find that despite several recent claims, token pruning methods often lag behind extractive compression. We only found marginal improvements on summarization tasks.