LLMLingua-2: Distillazione dei Dati per una Compressione Efficiente e Fedele di Prompt Indipendente dal Compito

LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression

March 19, 2024

Autori: Zhuoshi Pan, Qianhui Wu, Huiqiang Jiang, Menglin Xia, Xufang Luo, Jue Zhang, Qingwei Lin, Victor Rühle, Yuqing Yang, Chin-Yew Lin, H. Vicky Zhao, Lili Qiu, Dongmei Zhang

cs.AI

Abstract

Questo articolo si concentra sulla compressione agnostica dei prompt per migliorare la generalizzabilità e l'efficienza. Considerando la ridondanza nel linguaggio naturale, gli approcci esistenti comprimono i prompt rimuovendo token o unità lessicali in base alla loro entropia informativa ottenuta da un modello linguistico causale come LLaMa-7B. La sfida è che l'entropia informativa potrebbe essere una metrica di compressione subottimale: (i) sfrutta solo il contesto unidirezionale e potrebbe non catturare tutte le informazioni essenziali necessarie per la compressione dei prompt; (ii) non è allineata con l'obiettivo della compressione dei prompt. Per affrontare questi problemi, proponiamo una procedura di distillazione dei dati per derivare conoscenza da un LLM per comprimere i prompt senza perdere informazioni cruciali e, nel frattempo, introduciamo un dataset di compressione testuale estrattivo. Formuliamo la compressione dei prompt come un problema di classificazione dei token per garantire la fedeltà del prompt compresso rispetto a quello originale e utilizziamo un encoder Transformer come architettura di base per catturare tutte le informazioni essenziali per la compressione dei prompt dal contesto bidirezionale completo. Il nostro approccio riduce la latenza apprendendo esplicitamente l'obiettivo di compressione con modelli più piccoli come XLM-RoBERTa-large e mBERT. Valutiamo il nostro metodo su dataset sia in dominio che fuori dominio, inclusi MeetingBank, LongBench, ZeroScrolls, GSM8K e BBH. Nonostante le sue dimensioni ridotte, il nostro modello mostra significativi miglioramenti delle prestazioni rispetto ai baseline forti e dimostra una robusta capacità di generalizzazione su diversi LLM. Inoltre, il nostro modello è 3x-6x più veloce rispetto ai metodi esistenti di compressione dei prompt, accelerando la latenza end-to-end di 1.6x-2.9x con rapporti di compressione di 2x-5x.

English

This paper focuses on task-agnostic prompt compression for better generalizability and efficiency. Considering the redundancy in natural language, existing approaches compress prompts by removing tokens or lexical units according to their information entropy obtained from a causal language model such as LLaMa-7B. The challenge is that information entropy may be a suboptimal compression metric: (i) it only leverages unidirectional context and may fail to capture all essential information needed for prompt compression; (ii) it is not aligned with the prompt compression objective. To address these issues, we propose a data distillation procedure to derive knowledge from an LLM to compress prompts without losing crucial information, and meantime, introduce an extractive text compression dataset. We formulate prompt compression as a token classification problem to guarantee the faithfulness of the compressed prompt to the original one, and use a Transformer encoder as the base architecture to capture all essential information for prompt compression from the full bidirectional context. Our approach leads to lower latency by explicitly learning the compression objective with smaller models such as XLM-RoBERTa-large and mBERT. We evaluate our method on both in-domain and out-of-domain datasets, including MeetingBank, LongBench, ZeroScrolls, GSM8K, and BBH. Despite its small size, our model shows significant performance gains over strong baselines and demonstrates robust generalization ability across different LLMs. Additionally, our model is 3x-6x faster than existing prompt compression methods, while accelerating the end-to-end latency by 1.6x-2.9x with compression ratios of 2x-5x.