E^2-LLM: Эффективное и экстремальное расширение длины контекста больших языковых моделей

Аннотация

Обычно обучение больших языковых моделей (LLM) с длинными контекстами является вычислительно затратным, требующим значительного времени обучения и ресурсов GPU. Существующие методы расширения длинных контекстов обычно требуют дополнительных процедур обучения для поддержки соответствующих длинных контекстных окон, где необходимы данные для обучения с длинным контекстом (например, 32k), и предполагаются высокие затраты на обучение с использованием GPU. Для решения вышеупомянутых проблем мы предлагаем эффективный метод расширения длины для больших языковых моделей, называемый E²-LLM, который требует всего одной процедуры обучения и значительно снижает вычислительные затраты, а также устраняет необходимость сбора данных с длинным контекстом. Конкретно, во-первых, данные для обучения нашего E²-LLM требуют только короткой длины (например, 4k), что значительно снижает затраты на настройку. Во-вторых, процедура обучения на коротком контекстном окне выполняется только один раз, и мы можем поддерживать различные контекстные окна на этапе вывода. В-третьих, в E²-LLM, на основе позиционных эмбеддингов RoPE, мы вводим два различных метода аугментации для параметров масштаба и индекса позиции для различных образцов в обучении. Это направлено на повышение устойчивости модели к различным относительным различиям при прямой интерполяции произвольной длины контекста на этапе вывода. Комплексные экспериментальные результаты на нескольких эталонных наборах данных демонстрируют эффективность нашего E²-LLM в сложных задачах с длинным контекстом.

English

Typically, training LLMs with long context sizes is computationally expensive, requiring extensive training hours and GPU resources. Existing long-context extension methods usually need additional training procedures to support corresponding long-context windows, where the long-context training data (e.g., 32k) is needed, and high GPU training costs are assumed. To address the aforementioned issues, we propose an Efficient and Extreme length extension method for Large Language Models, called E 2 -LLM, with only one training procedure and dramatically reduced computation cost, which also removes the need to collect long-context data. Concretely, first, the training data of our E 2 -LLM only requires a short length (e.g., 4k), which reduces the tuning cost greatly. Second, the training procedure on the short training context window is performed only once time, and we can support different evaluation context windows at inference. Third, in E 2 - LLM, based on RoPE position embeddings, we introduce two different augmentation methods on the scale and position index parameters for different samples in training. It aims to make the model more robust to the different relative differences when directly interpolating the arbitrary context length at inference. Comprehensive experimental results on multiple benchmark datasets demonstrate the effectiveness of our E 2 -LLM on challenging long-context tasks.

E^2-LLM: Эффективное и экстремальное расширение длины контекста больших языковых моделей

E^2-LLM: Efficient and Extreme Length Extension of Large Language Models

Аннотация

Support