E^2-LLM: 대규모 언어 모델의 효율적이고 극단적인 길이 확장

초록

일반적으로 긴 컨텍스트 크기로 대형 언어 모델(LLM)을 학습시키는 것은 계산 비용이 많이 들며, 상당한 학습 시간과 GPU 자원이 필요합니다. 기존의 긴 컨텍스트 확장 방법들은 일반적으로 해당 긴 컨텍스트 창을 지원하기 위해 추가적인 학습 절차가 필요하며, 이 과정에서 긴 컨텍스트 학습 데이터(예: 32k)가 요구되고 높은 GPU 학습 비용이 발생합니다. 이러한 문제를 해결하기 위해, 우리는 단 한 번의 학습 절차와 크게 줄어든 계산 비용으로 긴 컨텍스트 데이터 수집의 필요성을 제거한 효율적이고 극단적인 길이 확장 방법인 E²-LLM을 제안합니다. 구체적으로, 첫째, E²-LLM의 학습 데이터는 짧은 길이(예: 4k)만 필요하므로 튜닝 비용이 크게 감소합니다. 둘째, 짧은 학습 컨텍스트 창에 대한 학습 절차는 단 한 번만 수행되며, 추론 시 다양한 평가 컨텍스트 창을 지원할 수 있습니다. 셋째, E²-LLM에서는 RoPE 위치 임베딩을 기반으로 학습 중 다양한 샘플에 대해 스케일과 위치 인덱스 매개변수에 두 가지 다른 증강 방법을 도입합니다. 이는 추론 시 임의의 컨텍스트 길이를 직접 보간할 때 모델이 다양한 상대적 차이에 대해 더 강건해지도록 하는 것을 목표로 합니다. 여러 벤치마크 데이터셋에 대한 포괄적인 실험 결과는 E²-LLM이 도전적인 긴 컨텍스트 작업에서의 효과를 입증합니다.

English

Typically, training LLMs with long context sizes is computationally expensive, requiring extensive training hours and GPU resources. Existing long-context extension methods usually need additional training procedures to support corresponding long-context windows, where the long-context training data (e.g., 32k) is needed, and high GPU training costs are assumed. To address the aforementioned issues, we propose an Efficient and Extreme length extension method for Large Language Models, called E 2 -LLM, with only one training procedure and dramatically reduced computation cost, which also removes the need to collect long-context data. Concretely, first, the training data of our E 2 -LLM only requires a short length (e.g., 4k), which reduces the tuning cost greatly. Second, the training procedure on the short training context window is performed only once time, and we can support different evaluation context windows at inference. Third, in E 2 - LLM, based on RoPE position embeddings, we introduce two different augmentation methods on the scale and position index parameters for different samples in training. It aims to make the model more robust to the different relative differences when directly interpolating the arbitrary context length at inference. Comprehensive experimental results on multiple benchmark datasets demonstrate the effectiveness of our E 2 -LLM on challenging long-context tasks.

E^2-LLM: 대규모 언어 모델의 효율적이고 극단적인 길이 확장

E^2-LLM: Efficient and Extreme Length Extension of Large Language Models

초록

Support