LLM, возможно, LongLM: Расширение контекстного окна LLM без настройки

LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning

January 2, 2024

Авторы: Hongye Jin, Xiaotian Han, Jingfeng Yang, Zhimeng Jiang, Zirui Liu, Chia-Yuan Chang, Huiyuan Chen, Xia Hu

cs.AI

Аннотация

В данной работе исследуется способность крупных языковых моделей (LLM) обрабатывать длинные контексты без необходимости тонкой настройки. Ограниченная длина обучающей последовательности во время тренировки может ограничивать применение LLM на длинных входных последовательностях при выводе. В этой работе мы утверждаем, что существующие LLM сами по себе обладают встроенными возможностями для обработки длинных контекстов. Основываясь на этом утверждении, мы предлагаем расширять контекстное окно LLM самостоятельно, чтобы полностью использовать их встроенные способности. Мы предлагаем метод Self-Extend для стимулирования потенциала LLM в обработке длинных контекстов. Основная идея заключается в построении двухуровневой информации внимания: на уровне групп и на уровне соседей. Оба уровня вычисляются с использованием оригинального механизма самовнимания модели, что означает, что предложенный метод не требует дополнительного обучения. Всего с четырьмя строками изменений в коде предложенный метод может легко расширить контекстное окно существующих LLM без какой-либо тонкой настройки. Мы проводим всесторонние эксперименты, и результаты показывают, что предложенный метод эффективно увеличивает длину контекстного окна существующих LLM.

English

This work elicits LLMs' inherent ability to handle long contexts without fine-tuning. The limited length of the training sequence during training may limit the application of Large Language Models (LLMs) on long input sequences for inference. In this work, we argue that existing LLMs themselves have inherent capabilities for handling long contexts. Based on this argument, we suggest extending LLMs' context window by themselves to fully utilize the inherent ability.We propose Self-Extend to stimulate LLMs' long context handling potential. The basic idea is to construct bi-level attention information: the group level and the neighbor level. The two levels are computed by the original model's self-attention, which means the proposed does not require any training. With only four lines of code modification, the proposed method can effortlessly extend existing LLMs' context window without any fine-tuning. We conduct comprehensive experiments and the results show that the proposed method can effectively extend existing LLMs' context window's length.