LLMLingua-2: Destilación de datos para la compresión eficiente y fiel de instrucciones independientes de la tarea

LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression

March 19, 2024

Autores: Zhuoshi Pan, Qianhui Wu, Huiqiang Jiang, Menglin Xia, Xufang Luo, Jue Zhang, Qingwei Lin, Victor Rühle, Yuqing Yang, Chin-Yew Lin, H. Vicky Zhao, Lili Qiu, Dongmei Zhang

cs.AI

Resumen

Este artículo se centra en la compresión de prompts independiente de la tarea para mejorar la generalización y la eficiencia. Considerando la redundancia en el lenguaje natural, los enfoques existentes comprimen los prompts eliminando tokens o unidades léxicas según su entropía de información obtenida de un modelo de lenguaje causal como LLaMa-7B. El desafío es que la entropía de información puede ser una métrica de compresión subóptima: (i) solo aprovecha el contexto unidireccional y puede no capturar toda la información esencial necesaria para la compresión de prompts; (ii) no está alineada con el objetivo de compresión de prompts. Para abordar estos problemas, proponemos un procedimiento de destilación de datos para derivar conocimiento de un modelo de lenguaje grande (LLM) y comprimir los prompts sin perder información crucial, y al mismo tiempo, introducimos un conjunto de datos de compresión de texto extractiva. Formulamos la compresión de prompts como un problema de clasificación de tokens para garantizar la fidelidad del prompt comprimido al original, y utilizamos un codificador Transformer como arquitectura base para capturar toda la información esencial para la compresión de prompts desde el contexto bidireccional completo. Nuestro enfoque reduce la latencia al aprender explícitamente el objetivo de compresión con modelos más pequeños como XLM-RoBERTa-large y mBERT. Evaluamos nuestro método en conjuntos de datos tanto dentro como fuera del dominio, incluyendo MeetingBank, LongBench, ZeroScrolls, GSM8K y BBH. A pesar de su tamaño reducido, nuestro modelo muestra ganancias significativas de rendimiento sobre líneas base sólidas y demuestra una capacidad de generalización robusta en diferentes LLMs. Además, nuestro modelo es 3x-6x más rápido que los métodos existentes de compresión de prompts, mientras acelera la latencia de extremo a extremo en 1.6x-2.9x con ratios de compresión de 2x-5x.

English

This paper focuses on task-agnostic prompt compression for better generalizability and efficiency. Considering the redundancy in natural language, existing approaches compress prompts by removing tokens or lexical units according to their information entropy obtained from a causal language model such as LLaMa-7B. The challenge is that information entropy may be a suboptimal compression metric: (i) it only leverages unidirectional context and may fail to capture all essential information needed for prompt compression; (ii) it is not aligned with the prompt compression objective. To address these issues, we propose a data distillation procedure to derive knowledge from an LLM to compress prompts without losing crucial information, and meantime, introduce an extractive text compression dataset. We formulate prompt compression as a token classification problem to guarantee the faithfulness of the compressed prompt to the original one, and use a Transformer encoder as the base architecture to capture all essential information for prompt compression from the full bidirectional context. Our approach leads to lower latency by explicitly learning the compression objective with smaller models such as XLM-RoBERTa-large and mBERT. We evaluate our method on both in-domain and out-of-domain datasets, including MeetingBank, LongBench, ZeroScrolls, GSM8K, and BBH. Despite its small size, our model shows significant performance gains over strong baselines and demonstrates robust generalization ability across different LLMs. Additionally, our model is 3x-6x faster than existing prompt compression methods, while accelerating the end-to-end latency by 1.6x-2.9x with compression ratios of 2x-5x.