Karakterisering van Promptcompressiemethoden voor Inferentie met Lange Contexten

Characterizing Prompt Compression Methods for Long Context Inference

July 11, 2024

Auteurs: Siddharth Jha, Lutfi Eren Erdogan, Sehoon Kim, Kurt Keutzer, Amir Gholami

cs.AI

Samenvatting

Langetermijncontextinferentie brengt uitdagingen met zich mee op systeemniveau, zoals verhoogde reken- en geheugenvereisten, evenals vanuit een nauwkeurigheidsperspectief bij het redeneren over lange contexten. Onlangs zijn verschillende methoden voorgesteld om de prompt te comprimeren en zo de contextlengte te verminderen. Er is echter weinig werk verricht om de verschillende voorgestelde methoden over verschillende taken heen te vergelijken via een gestandaardiseerde analyse. Dit heeft geleid tot tegenstrijdige resultaten. Om dit aan te pakken, voeren we hier een uitgebreide karakterisering en evaluatie uit van verschillende promptcompressiemethoden. In het bijzonder analyseren we extractieve compressie, samenvattingsgebaseerde abstractieve compressie en tokenpruningmethoden. Verrassend genoeg ontdekken we dat extractieve compressie vaak beter presteert dan alle andere benaderingen en tot 10x compressie mogelijk maakt met minimale nauwkeurigheidsvermindering. Interessant is dat we ook ontdekken dat, ondanks verschillende recente beweringen, tokenpruningmethoden vaak achterblijven bij extractieve compressie. We vonden slechts marginale verbeteringen op samenvattings taken.

English

Long context inference presents challenges at the system level with increased compute and memory requirements, as well as from an accuracy perspective in being able to reason over long contexts. Recently, several methods have been proposed to compress the prompt to reduce the context length. However, there has been little work on comparing the different proposed methods across different tasks through a standardized analysis. This has led to conflicting results. To address this, here we perform a comprehensive characterization and evaluation of different prompt compression methods. In particular, we analyze extractive compression, summarization-based abstractive compression, and token pruning methods. Surprisingly, we find that extractive compression often outperforms all the other approaches, and enables up to 10x compression with minimal accuracy degradation. Interestingly, we also find that despite several recent claims, token pruning methods often lag behind extractive compression. We only found marginal improvements on summarization tasks.