LLM Peut-être LongLM : Étendre Autonome la Fenêtre Contextuelle des LLM Sans Ajustement

LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning

January 2, 2024

Auteurs: Hongye Jin, Xiaotian Han, Jingfeng Yang, Zhimeng Jiang, Zirui Liu, Chia-Yuan Chang, Huiyuan Chen, Xia Hu

cs.AI

Résumé

Ce travail met en évidence la capacité inhérente des LLMs à gérer des contextes longs sans nécessiter de fine-tuning. La longueur limitée des séquences d'entraînement peut restreindre l'application des modèles de langage de grande taille (LLMs) sur des séquences d'entrée longues lors de l'inférence. Dans ce travail, nous soutenons que les LLMs existants possèdent déjà des capacités intrinsèques pour traiter des contextes longs. Sur la base de cet argument, nous suggérons d'étendre la fenêtre contextuelle des LLMs par eux-mêmes afin d'exploiter pleinement cette capacité inhérente. Nous proposons Self-Extend pour stimuler le potentiel des LLMs à gérer des contextes longs. L'idée de base est de construire une information d'attention à deux niveaux : le niveau groupe et le niveau voisin. Ces deux niveaux sont calculés par l'auto-attention originale du modèle, ce qui signifie que la méthode proposée ne nécessite aucun entraînement supplémentaire. Avec seulement quatre lignes de code modifiées, la méthode proposée peut étendre sans effort la fenêtre contextuelle des LLMs existants sans aucun fine-tuning. Nous menons des expériences approfondies et les résultats montrent que la méthode proposée peut effectivement étendre la longueur de la fenêtre contextuelle des LLMs existants.

English

This work elicits LLMs' inherent ability to handle long contexts without fine-tuning. The limited length of the training sequence during training may limit the application of Large Language Models (LLMs) on long input sequences for inference. In this work, we argue that existing LLMs themselves have inherent capabilities for handling long contexts. Based on this argument, we suggest extending LLMs' context window by themselves to fully utilize the inherent ability.We propose Self-Extend to stimulate LLMs' long context handling potential. The basic idea is to construct bi-level attention information: the group level and the neighbor level. The two levels are computed by the original model's self-attention, which means the proposed does not require any training. With only four lines of code modification, the proposed method can effortlessly extend existing LLMs' context window without any fine-tuning. We conduct comprehensive experiments and the results show that the proposed method can effectively extend existing LLMs' context window's length.