Caracterización de Métodos de Compresión de Instrucciones para Inferencia de Contexto Largo

Characterizing Prompt Compression Methods for Long Context Inference

July 11, 2024

Autores: Siddharth Jha, Lutfi Eren Erdogan, Sehoon Kim, Kurt Keutzer, Amir Gholami

cs.AI

Resumen

La inferencia de contexto largo presenta desafíos a nivel del sistema con mayores requisitos de cálculo y memoria, así como desde una perspectiva de precisión en la capacidad de razonar sobre contextos extensos. Recientemente, se han propuesto varios métodos para comprimir la indicación a fin de reducir la longitud del contexto. Sin embargo, ha habido poco trabajo en comparar los diferentes métodos propuestos en distintas tareas a través de un análisis estandarizado. Esto ha dado lugar a resultados contradictorios. Para abordar esto, aquí realizamos una caracterización y evaluación exhaustiva de diferentes métodos de compresión de indicaciones. En particular, analizamos la compresión extractiva, la compresión abtractiva basada en resúmenes y los métodos de poda de tokens. Sorprendentemente, encontramos que la compresión extractiva a menudo supera a todos los demás enfoques y permite una compresión de hasta 10 veces con una degradación mínima de la precisión. Curiosamente, también descubrimos que, a pesar de varias afirmaciones recientes, los métodos de poda de tokens a menudo quedan rezagados detrás de la compresión extractiva. Solo encontramos mejoras marginales en tareas de resumen.

English

Long context inference presents challenges at the system level with increased compute and memory requirements, as well as from an accuracy perspective in being able to reason over long contexts. Recently, several methods have been proposed to compress the prompt to reduce the context length. However, there has been little work on comparing the different proposed methods across different tasks through a standardized analysis. This has led to conflicting results. To address this, here we perform a comprehensive characterization and evaluation of different prompt compression methods. In particular, we analyze extractive compression, summarization-based abstractive compression, and token pruning methods. Surprisingly, we find that extractive compression often outperforms all the other approaches, and enables up to 10x compression with minimal accuracy degradation. Interestingly, we also find that despite several recent claims, token pruning methods often lag behind extractive compression. We only found marginal improvements on summarization tasks.