LLM Quizás LongLM: Extensión Autónoma de la Ventana de Contexto en LLM Sin Necesidad de Ajustes

LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning

January 2, 2024

Autores: Hongye Jin, Xiaotian Han, Jingfeng Yang, Zhimeng Jiang, Zirui Liu, Chia-Yuan Chang, Huiyuan Chen, Xia Hu

cs.AI

Resumen

Este trabajo explora la capacidad inherente de los LLMs para manejar contextos largos sin necesidad de ajustes finos. La longitud limitada de las secuencias de entrenamiento durante el proceso de aprendizaje puede restringir la aplicación de los Modelos de Lenguaje de Gran Escala (LLMs) en secuencias de entrada largas durante la inferencia. En este trabajo, argumentamos que los LLMs existentes ya poseen capacidades inherentes para manejar contextos extensos. Basándonos en este argumento, sugerimos extender la ventana de contexto de los LLMs por sí mismos para aprovechar al máximo esta capacidad inherente. Proponemos Self-Extend para estimular el potencial de los LLMs en el manejo de contextos largos. La idea básica es construir información de atención en dos niveles: el nivel de grupo y el nivel de vecindario. Ambos niveles se calculan mediante la auto-atención original del modelo, lo que significa que el método propuesto no requiere ningún entrenamiento adicional. Con solo cuatro líneas de código modificadas, el método propuesto puede extender sin esfuerzo la ventana de contexto de los LLMs existentes sin necesidad de ajustes finos. Realizamos experimentos exhaustivos y los resultados muestran que el método propuesto puede extender efectivamente la longitud de la ventana de contexto de los LLMs existentes.

English

This work elicits LLMs' inherent ability to handle long contexts without fine-tuning. The limited length of the training sequence during training may limit the application of Large Language Models (LLMs) on long input sequences for inference. In this work, we argue that existing LLMs themselves have inherent capabilities for handling long contexts. Based on this argument, we suggest extending LLMs' context window by themselves to fully utilize the inherent ability.We propose Self-Extend to stimulate LLMs' long context handling potential. The basic idea is to construct bi-level attention information: the group level and the neighbor level. The two levels are computed by the original model's self-attention, which means the proposed does not require any training. With only four lines of code modification, the proposed method can effortlessly extend existing LLMs' context window without any fine-tuning. We conduct comprehensive experiments and the results show that the proposed method can effectively extend existing LLMs' context window's length.