LLM Forse LongLM: Estendere Autonomamente la Finestra di Contesto degli LLM Senza Ottimizzazione

LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning

January 2, 2024

Autori: Hongye Jin, Xiaotian Han, Jingfeng Yang, Zhimeng Jiang, Zirui Liu, Chia-Yuan Chang, Huiyuan Chen, Xia Hu

cs.AI

Abstract

Questo lavoro evidenzia la capacità intrinseca dei Large Language Models (LLM) di gestire contesti lunghi senza necessità di fine-tuning. La lunghezza limitata della sequenza di addestramento durante il training può ridurre l'applicabilità dei LLM su sequenze di input lunghe durante l'inferenza. In questo lavoro, sosteniamo che i LLM esistenti possiedono già capacità intrinseche per gestire contesti lunghi. Sulla base di questa argomentazione, suggeriamo di estendere autonomamente la finestra contestuale dei LLM per sfruttare appieno questa capacità intrinseca. Proponiamo Self-Extend per stimolare il potenziale dei LLM nella gestione di contesti lunghi. L'idea di base è costruire un'attenzione a due livelli: a livello di gruppo e a livello di vicinato. I due livelli sono calcolati tramite il meccanismo di self-attention originale del modello, il che significa che il metodo proposto non richiede alcun addestramento aggiuntivo. Con solo quattro righe di codice modificate, il metodo proposto può estendere senza sforzo la finestra contestuale dei LLM esistenti senza alcun fine-tuning. Abbiamo condotto esperimenti completi e i risultati dimostrano che il metodo proposto può estendere efficacemente la lunghezza della finestra contestuale dei LLM esistenti.

English

This work elicits LLMs' inherent ability to handle long contexts without fine-tuning. The limited length of the training sequence during training may limit the application of Large Language Models (LLMs) on long input sequences for inference. In this work, we argue that existing LLMs themselves have inherent capabilities for handling long contexts. Based on this argument, we suggest extending LLMs' context window by themselves to fully utilize the inherent ability.We propose Self-Extend to stimulate LLMs' long context handling potential. The basic idea is to construct bi-level attention information: the group level and the neighbor level. The two levels are computed by the original model's self-attention, which means the proposed does not require any training. With only four lines of code modification, the proposed method can effortlessly extend existing LLMs' context window without any fine-tuning. We conduct comprehensive experiments and the results show that the proposed method can effectively extend existing LLMs' context window's length.