長文脈推論のためのプロンプト圧縮手法の特性評価

Characterizing Prompt Compression Methods for Long Context Inference

July 11, 2024

著者: Siddharth Jha, Lutfi Eren Erdogan, Sehoon Kim, Kurt Keutzer, Amir Gholami

cs.AI

要旨

長文脈推論は、計算リソースとメモリ要件の増大というシステムレベルの課題と、長い文脈を推論する精度の観点から課題を抱えています。最近では、文脈長を短縮するためにプロンプトを圧縮するいくつかの手法が提案されています。しかし、標準化された分析を通じて異なるタスク間で提案された手法を比較する研究はほとんど行われておらず、これが矛盾する結果を生んでいます。この問題に対処するため、本研究ではさまざまなプロンプト圧縮手法の包括的な特性評価と評価を行います。具体的には、抽出型圧縮、要約に基づく抽象型圧縮、およびトークンプルーニング手法を分析します。驚くべきことに、抽出型圧縮が他のすべてのアプローチをしばしば上回り、精度の低下を最小限に抑えながら最大10倍の圧縮を可能にすることがわかりました。また、最近のいくつかの主張にもかかわらず、トークンプルーニング手法は抽出型圧縮にしばしば遅れをとることも明らかになりました。要約タスクではわずかな改善しか見られませんでした。

English

Long context inference presents challenges at the system level with increased compute and memory requirements, as well as from an accuracy perspective in being able to reason over long contexts. Recently, several methods have been proposed to compress the prompt to reduce the context length. However, there has been little work on comparing the different proposed methods across different tasks through a standardized analysis. This has led to conflicting results. To address this, here we perform a comprehensive characterization and evaluation of different prompt compression methods. In particular, we analyze extractive compression, summarization-based abstractive compression, and token pruning methods. Surprisingly, we find that extractive compression often outperforms all the other approaches, and enables up to 10x compression with minimal accuracy degradation. Interestingly, we also find that despite several recent claims, token pruning methods often lag behind extractive compression. We only found marginal improvements on summarization tasks.