Расширение контекстного окна крупных языковых моделей посредством семантического сжатия

Extending Context Window of Large Language Models via Semantic Compression

December 15, 2023

Авторы: Weizhi Fei, Xueyan Niu, Pingyi Zhou, Lu Hou, Bo Bai, Lei Deng, Wei Han

cs.AI

Аннотация

Трансформерные модели больших языковых моделей (LLM) часто накладывают ограничения на длину входного текста, чтобы обеспечить генерацию беглых и релевантных ответов. Это ограничение снижает их применимость в сценариях, связанных с обработкой длинных текстов. Мы предлагаем новый метод семантического сжатия, который позволяет обобщать тексты, в 6-8 раз превышающие стандартные ограничения, без значительных вычислительных затрат или необходимости дообучения. Наш подход вдохновлен теорией кодирования источников и использует предобученную модель для уменьшения семантической избыточности длинных входных данных перед их передачей в LLM для выполнения последующих задач. Экспериментальные результаты показывают, что наш метод эффективно расширяет контекстное окно LLM для различных задач, включая ответы на вопросы, суммаризацию, обучение с малым количеством примеров и информационный поиск. Кроме того, предложенный метод семантического сжатия демонстрирует стабильную беглость в генерации текста, одновременно снижая связанные с этим вычислительные затраты.

English

Transformer-based Large Language Models (LLMs) often impose limitations on the length of the text input to ensure the generation of fluent and relevant responses. This constraint restricts their applicability in scenarios involving long texts. We propose a novel semantic compression method that enables generalization to texts that are 6-8 times longer, without incurring significant computational costs or requiring fine-tuning. Our proposed framework draws inspiration from source coding in information theory and employs a pre-trained model to reduce the semantic redundancy of long inputs before passing them to the LLMs for downstream tasks. Experimental results demonstrate that our method effectively extends the context window of LLMs across a range of tasks including question answering, summarization, few-shot learning, and information retrieval. Furthermore, the proposed semantic compression method exhibits consistent fluency in text generation while reducing the associated computational overhead.