LLM Misschien LongLM: Zelfuitbreiding van het LLM-contextvenster zonder afstemming

LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning

January 2, 2024

Auteurs: Hongye Jin, Xiaotian Han, Jingfeng Yang, Zhimeng Jiang, Zirui Liu, Chia-Yuan Chang, Huiyuan Chen, Xia Hu

cs.AI

Samenvatting

Dit werk benut de inherente mogelijkheid van LLM's om lange contexten te verwerken zonder fine-tuning. De beperkte lengte van de trainingssequentie tijdens het trainen kan de toepassing van Large Language Models (LLM's) op lange invoersequenties voor inferentie beperken. In dit werk stellen we dat bestaande LLM's zelf inherente mogelijkheden hebben voor het verwerken van lange contexten. Op basis van dit argument suggereren we om het contextvenster van LLM's zelf uit te breiden om het inherente vermogen volledig te benutten. We stellen Self-Extend voor om het potentieel van LLM's voor het verwerken van lange contexten te stimuleren. Het basisidee is om tweelaagse aandachtinformatie te construeren: het groepsniveau en het buurniveau. De twee niveaus worden berekend door de self-attention van het oorspronkelijke model, wat betekent dat de voorgestelde methode geen training vereist. Met slechts vier regels codeaanpassing kan de voorgestelde methode moeiteloos het contextvenster van bestaande LLM's uitbreiden zonder enige fine-tuning. We voeren uitgebreide experimenten uit en de resultaten tonen aan dat de voorgestelde methode effectief de lengte van het contextvenster van bestaande LLM's kan uitbreiden.

English

This work elicits LLMs' inherent ability to handle long contexts without fine-tuning. The limited length of the training sequence during training may limit the application of Large Language Models (LLMs) on long input sequences for inference. In this work, we argue that existing LLMs themselves have inherent capabilities for handling long contexts. Based on this argument, we suggest extending LLMs' context window by themselves to fully utilize the inherent ability.We propose Self-Extend to stimulate LLMs' long context handling potential. The basic idea is to construct bi-level attention information: the group level and the neighbor level. The two levels are computed by the original model's self-attention, which means the proposed does not require any training. With only four lines of code modification, the proposed method can effortlessly extend existing LLMs' context window without any fine-tuning. We conduct comprehensive experiments and the results show that the proposed method can effectively extend existing LLMs' context window's length.