LLMLingua-2: Сжатие данных для эффективного и верного агностического сжатия заданий.

LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression

March 19, 2024

Авторы: Zhuoshi Pan, Qianhui Wu, Huiqiang Jiang, Menglin Xia, Xufang Luo, Jue Zhang, Qingwei Lin, Victor Rühle, Yuqing Yang, Chin-Yew Lin, H. Vicky Zhao, Lili Qiu, Dongmei Zhang

cs.AI

Аннотация

Данный доклад фокусируется на сжатии запросов, независимом от задачи, для повышения обобщаемости и эффективности. Учитывая избыточность естественного языка, существующие подходы сжимают запросы путем удаления токенов или лексических единиц в соответствии с их информационной энтропией, полученной из причинной языковой модели, такой как LLaMa-7B. Однако вызов представляет собой то, что информационная энтропия может быть неоптимальной метрикой сжатия: (i) она использует только однонаправленный контекст и может не улавливать всю необходимую информацию для сжатия запроса; (ii) она не соответствует цели сжатия запроса. Для решения этих проблем мы предлагаем процедуру дистилляции данных для извлечения знаний из LLM для сжатия запросов без потери важной информации, а также вводим набор данных для извлечения текстового сжатия. Мы формулируем сжатие запроса как проблему классификации токенов для гарантирования верности сжатого запроса по сравнению с оригинальным, и используем кодировщик Transformer в качестве базовой архитектуры для улавливания всей важной информации для сжатия запроса из полного двунаправленного контекста. Наш подход приводит к более низкой задержке, явно обучая цель сжатия с помощью более компактных моделей, таких как XLM-RoBERTa-large и mBERT. Мы оцениваем наш метод на наборах данных как внутри области, так и за ее пределами, включая MeetingBank, LongBench, ZeroScrolls, GSM8K и BBH. Несмотря на свой небольшой размер, наша модель показывает значительный прирост производительности по сравнению с сильными базовыми моделями и демонстрирует устойчивую обобщающую способность на различных LLM. Кроме того, наша модель работает в 3-6 раз быстрее, чем существующие методы сжатия запросов, с ускорением общей задержки на 1.6-2.9 раза при коэффициентах сжатия от 2 до 5.

English

This paper focuses on task-agnostic prompt compression for better generalizability and efficiency. Considering the redundancy in natural language, existing approaches compress prompts by removing tokens or lexical units according to their information entropy obtained from a causal language model such as LLaMa-7B. The challenge is that information entropy may be a suboptimal compression metric: (i) it only leverages unidirectional context and may fail to capture all essential information needed for prompt compression; (ii) it is not aligned with the prompt compression objective. To address these issues, we propose a data distillation procedure to derive knowledge from an LLM to compress prompts without losing crucial information, and meantime, introduce an extractive text compression dataset. We formulate prompt compression as a token classification problem to guarantee the faithfulness of the compressed prompt to the original one, and use a Transformer encoder as the base architecture to capture all essential information for prompt compression from the full bidirectional context. Our approach leads to lower latency by explicitly learning the compression objective with smaller models such as XLM-RoBERTa-large and mBERT. We evaluate our method on both in-domain and out-of-domain datasets, including MeetingBank, LongBench, ZeroScrolls, GSM8K, and BBH. Despite its small size, our model shows significant performance gains over strong baselines and demonstrates robust generalization ability across different LLMs. Additionally, our model is 3x-6x faster than existing prompt compression methods, while accelerating the end-to-end latency by 1.6x-2.9x with compression ratios of 2x-5x.