Характеристика методов сжатия подсказок для вывода на основе длинного контекста

Characterizing Prompt Compression Methods for Long Context Inference

July 11, 2024

Авторы: Siddharth Jha, Lutfi Eren Erdogan, Sehoon Kim, Kurt Keutzer, Amir Gholami

cs.AI

Аннотация

Длинная инференция контекста представляет вызовы на уровне системы из-за увеличенных требований к вычислениям и памяти, а также с точки зрения точности в способности рассуждать над длинными контекстами. Недавно было предложено несколько методов сжатия подсказки для уменьшения длины контекста. Однако мало работ по сравнению различных предложенных методов на различных задачах через стандартизированный анализ. Это привело к противоречивым результатам. Для решения этой проблемы мы проводим всестороннюю характеристику и оценку различных методов сжатия подсказки. В частности, мы анализируем методы извлечения, основанные на сжатии суммаризации, и методы обрезки токенов. Удивительно, что метод извлечения часто превосходит все другие подходы и позволяет сжимать до 10 раз с минимальным снижением точности. Интересно также отметить, что несмотря на несколько недавних утверждений, методы обрезки токенов часто отстают от метода извлечения. Мы обнаружили лишь незначительные улучшения в задачах суммаризации.

English

Long context inference presents challenges at the system level with increased compute and memory requirements, as well as from an accuracy perspective in being able to reason over long contexts. Recently, several methods have been proposed to compress the prompt to reduce the context length. However, there has been little work on comparing the different proposed methods across different tasks through a standardized analysis. This has led to conflicting results. To address this, here we perform a comprehensive characterization and evaluation of different prompt compression methods. In particular, we analyze extractive compression, summarization-based abstractive compression, and token pruning methods. Surprisingly, we find that extractive compression often outperforms all the other approaches, and enables up to 10x compression with minimal accuracy degradation. Interestingly, we also find that despite several recent claims, token pruning methods often lag behind extractive compression. We only found marginal improvements on summarization tasks.