Caracterização de Métodos de Compressão de Prompt para Inferência de Contexto Longo

Characterizing Prompt Compression Methods for Long Context Inference

July 11, 2024

Autores: Siddharth Jha, Lutfi Eren Erdogan, Sehoon Kim, Kurt Keutzer, Amir Gholami

cs.AI

Resumo

A inferência de contexto longo apresenta desafios no nível do sistema com requisitos aumentados de computação e memória, bem como do ponto de vista da precisão em ser capaz de raciocinar sobre contextos longos. Recentemente, vários métodos foram propostos para comprimir o prompt a fim de reduzir o comprimento do contexto. No entanto, houve pouco trabalho comparando os diferentes métodos propostos em diferentes tarefas por meio de uma análise padronizada. Isso tem levado a resultados conflitantes. Para abordar isso, aqui realizamos uma caracterização e avaliação abrangentes de diferentes métodos de compressão de prompt. Em particular, analisamos métodos de compressão extrativa, compressão abstrativa baseada em sumarização e métodos de poda de tokens. Surpreendentemente, descobrimos que a compressão extrativa frequentemente supera todas as outras abordagens e permite uma compressão de até 10 vezes com degradação mínima da precisão. Curiosamente, também descobrimos que, apesar de várias alegações recentes, os métodos de poda de tokens frequentemente ficam atrás da compressão extrativa. Encontramos apenas melhorias marginais em tarefas de sumarização.

English

Long context inference presents challenges at the system level with increased compute and memory requirements, as well as from an accuracy perspective in being able to reason over long contexts. Recently, several methods have been proposed to compress the prompt to reduce the context length. However, there has been little work on comparing the different proposed methods across different tasks through a standardized analysis. This has led to conflicting results. To address this, here we perform a comprehensive characterization and evaluation of different prompt compression methods. In particular, we analyze extractive compression, summarization-based abstractive compression, and token pruning methods. Surprisingly, we find that extractive compression often outperforms all the other approaches, and enables up to 10x compression with minimal accuracy degradation. Interestingly, we also find that despite several recent claims, token pruning methods often lag behind extractive compression. We only found marginal improvements on summarization tasks.