Caractérisation des méthodes de compression de prompts pour l'inférence en contexte long

Characterizing Prompt Compression Methods for Long Context Inference

July 11, 2024

Auteurs: Siddharth Jha, Lutfi Eren Erdogan, Sehoon Kim, Kurt Keutzer, Amir Gholami

cs.AI

Résumé

L'inférence sur des contextes longs présente des défis à la fois au niveau système, avec des besoins accrus en calcul et en mémoire, et du point de vue de la précision, dans la capacité à raisonner sur des contextes étendus. Récemment, plusieurs méthodes ont été proposées pour compresser l'invite afin de réduire la longueur du contexte. Cependant, peu de travaux ont comparé les différentes méthodes proposées à travers une analyse standardisée sur diverses tâches. Cela a conduit à des résultats contradictoires. Pour remédier à cela, nous réalisons ici une caractérisation et une évaluation complètes des différentes méthodes de compression d'invite. En particulier, nous analysons la compression extractive, la compression abstraite basée sur la synthèse, et les méthodes d'élagage de tokens. Étonnamment, nous constatons que la compression extractive surpasse souvent toutes les autres approches, permettant une compression jusqu'à 10x avec une dégradation minimale de la précision. Fait intéressant, nous observons également que, malgré plusieurs affirmations récentes, les méthodes d'élagage de tokens sont souvent moins performantes que la compression extractive. Nous n'avons trouvé que des améliorations marginales sur les tâches de synthèse.

English

Long context inference presents challenges at the system level with increased compute and memory requirements, as well as from an accuracy perspective in being able to reason over long contexts. Recently, several methods have been proposed to compress the prompt to reduce the context length. However, there has been little work on comparing the different proposed methods across different tasks through a standardized analysis. This has led to conflicting results. To address this, here we perform a comprehensive characterization and evaluation of different prompt compression methods. In particular, we analyze extractive compression, summarization-based abstractive compression, and token pruning methods. Surprisingly, we find that extractive compression often outperforms all the other approaches, and enables up to 10x compression with minimal accuracy degradation. Interestingly, we also find that despite several recent claims, token pruning methods often lag behind extractive compression. We only found marginal improvements on summarization tasks.