LLMLingua-2: Destilação de Dados para Compressão Eficiente e Fiel de Prompts Independentes de Tarefa

LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression

March 19, 2024

Autores: Zhuoshi Pan, Qianhui Wu, Huiqiang Jiang, Menglin Xia, Xufang Luo, Jue Zhang, Qingwei Lin, Victor Rühle, Yuqing Yang, Chin-Yew Lin, H. Vicky Zhao, Lili Qiu, Dongmei Zhang

cs.AI

Resumo

Este artigo foca na compressão de prompts agnóstica a tarefas para melhor generalização e eficiência. Considerando a redundância na linguagem natural, abordagens existentes comprimem prompts removendo tokens ou unidades lexicais de acordo com sua entropia de informação obtida de um modelo de linguagem causal, como o LLaMa-7B. O desafio é que a entropia de informação pode ser uma métrica de compressão subótima: (i) ela utiliza apenas contexto unidirecional e pode falhar em capturar todas as informações essenciais necessárias para a compressão de prompts; (ii) ela não está alinhada com o objetivo de compressão de prompts. Para abordar esses problemas, propomos um procedimento de destilação de dados para derivar conhecimento de um LLM (Large Language Model) para comprimir prompts sem perder informações cruciais e, ao mesmo tempo, introduzimos um conjunto de dados de compressão de texto extrativa. Formulamos a compressão de prompts como um problema de classificação de tokens para garantir a fidelidade do prompt comprimido ao original e usamos um codificador Transformer como arquitetura base para capturar todas as informações essenciais para a compressão de prompts a partir do contexto bidirecional completo. Nossa abordagem resulta em menor latência ao aprender explicitamente o objetivo de compressão com modelos menores, como o XLM-RoBERTa-large e o mBERT. Avaliamos nosso método em conjuntos de dados dentro e fora do domínio, incluindo MeetingBank, LongBench, ZeroScrolls, GSM8K e BBH. Apesar de seu tamanho reduzido, nosso modelo mostra ganhos significativos de desempenho em relação a baselines fortes e demonstra capacidade robusta de generalização em diferentes LLMs. Além disso, nosso modelo é 3x-6x mais rápido que os métodos existentes de compressão de prompts, enquanto acelera a latência de ponta a ponta em 1.6x-2.9x com taxas de compressão de 2x-5x.

English

This paper focuses on task-agnostic prompt compression for better generalizability and efficiency. Considering the redundancy in natural language, existing approaches compress prompts by removing tokens or lexical units according to their information entropy obtained from a causal language model such as LLaMa-7B. The challenge is that information entropy may be a suboptimal compression metric: (i) it only leverages unidirectional context and may fail to capture all essential information needed for prompt compression; (ii) it is not aligned with the prompt compression objective. To address these issues, we propose a data distillation procedure to derive knowledge from an LLM to compress prompts without losing crucial information, and meantime, introduce an extractive text compression dataset. We formulate prompt compression as a token classification problem to guarantee the faithfulness of the compressed prompt to the original one, and use a Transformer encoder as the base architecture to capture all essential information for prompt compression from the full bidirectional context. Our approach leads to lower latency by explicitly learning the compression objective with smaller models such as XLM-RoBERTa-large and mBERT. We evaluate our method on both in-domain and out-of-domain datasets, including MeetingBank, LongBench, ZeroScrolls, GSM8K, and BBH. Despite its small size, our model shows significant performance gains over strong baselines and demonstrates robust generalization ability across different LLMs. Additionally, our model is 3x-6x faster than existing prompt compression methods, while accelerating the end-to-end latency by 1.6x-2.9x with compression ratios of 2x-5x.