Charakterisierung von Prompt-Kompressionsmethoden für Inferenz mit langem Kontext

Characterizing Prompt Compression Methods for Long Context Inference

July 11, 2024

Autoren: Siddharth Jha, Lutfi Eren Erdogan, Sehoon Kim, Kurt Keutzer, Amir Gholami

cs.AI

Zusammenfassung

Die Inferenz über lange Kontexte stellt auf Systemebene Herausforderungen dar, die mit erhöhten Rechen- und Speicheranforderungen einhergehen, sowie aus einer Genauigkeitsperspektive in der Lage zu sein, über lange Kontexte zu argumentieren. In letzter Zeit wurden mehrere Methoden vorgeschlagen, um den Prompt zu komprimieren und die Kontextlänge zu reduzieren. Es wurde jedoch wenig Forschung betrieben, um die verschiedenen vorgeschlagenen Methoden über verschiedene Aufgaben hinweg durch eine standardisierte Analyse zu vergleichen. Dies hat zu widersprüchlichen Ergebnissen geführt. Um dies zu lösen, führen wir hier eine umfassende Charakterisierung und Bewertung verschiedener Methoden zur Prompt-Kompression durch. Insbesondere analysieren wir extraktive Kompression, auf Zusammenfassung basierende abstraktive Kompression und Token-Pruning-Methoden. Überraschenderweise stellen wir fest, dass extraktive Kompression oft alle anderen Ansätze übertrifft und eine Kompression um das bis zu 10-fache bei minimaler Genauigkeitsverschlechterung ermöglicht. Interessanterweise stellen wir auch fest, dass trotz mehrerer jüngster Behauptungen Token-Pruning-Methoden oft hinter extraktiver Kompression zurückbleiben. Wir fanden nur marginale Verbesserungen bei Zusammenfassungsaufgaben.

English

Long context inference presents challenges at the system level with increased compute and memory requirements, as well as from an accuracy perspective in being able to reason over long contexts. Recently, several methods have been proposed to compress the prompt to reduce the context length. However, there has been little work on comparing the different proposed methods across different tasks through a standardized analysis. This has led to conflicting results. To address this, here we perform a comprehensive characterization and evaluation of different prompt compression methods. In particular, we analyze extractive compression, summarization-based abstractive compression, and token pruning methods. Surprisingly, we find that extractive compression often outperforms all the other approaches, and enables up to 10x compression with minimal accuracy degradation. Interestingly, we also find that despite several recent claims, token pruning methods often lag behind extractive compression. We only found marginal improvements on summarization tasks.