Caratterizzazione dei Metodi di Compressione dei Prompt per l'Inferenza su Contesti Lunghi

Characterizing Prompt Compression Methods for Long Context Inference

July 11, 2024

Autori: Siddharth Jha, Lutfi Eren Erdogan, Sehoon Kim, Kurt Keutzer, Amir Gholami

cs.AI

Abstract

L'inferenza su contesti lunghi presenta sfide a livello di sistema con un aumento dei requisiti di calcolo e memoria, nonché dal punto di vista dell'accuratezza nella capacità di ragionare su contesti estesi. Recentemente, sono stati proposti diversi metodi per comprimere il prompt al fine di ridurre la lunghezza del contesto. Tuttavia, sono stati condotti pochi lavori che confrontano i diversi metodi proposti su vari compiti attraverso un'analisi standardizzata. Ciò ha portato a risultati contrastanti. Per affrontare questo problema, qui eseguiamo una caratterizzazione e valutazione completa dei diversi metodi di compressione del prompt. In particolare, analizziamo la compressione estrattiva, la compressione astrattiva basata su riassunto e i metodi di potatura dei token. Sorprendentemente, scopriamo che la compressione estrattiva spesso supera tutti gli altri approcci e consente una compressione fino a 10x con un degrado minimo dell'accuratezza. Inoltre, troviamo che, nonostante diverse affermazioni recenti, i metodi di potatura dei token spesso rimangono indietro rispetto alla compressione estrattiva. Abbiamo riscontrato solo miglioramenti marginali nei compiti di riassunto.

English

Long context inference presents challenges at the system level with increased compute and memory requirements, as well as from an accuracy perspective in being able to reason over long contexts. Recently, several methods have been proposed to compress the prompt to reduce the context length. However, there has been little work on comparing the different proposed methods across different tasks through a standardized analysis. This has led to conflicting results. To address this, here we perform a comprehensive characterization and evaluation of different prompt compression methods. In particular, we analyze extractive compression, summarization-based abstractive compression, and token pruning methods. Surprisingly, we find that extractive compression often outperforms all the other approaches, and enables up to 10x compression with minimal accuracy degradation. Interestingly, we also find that despite several recent claims, token pruning methods often lag behind extractive compression. We only found marginal improvements on summarization tasks.