¿Por qué la longitud efectiva del contexto de los LLMs es insuficiente?

Why Does the Effective Context Length of LLMs Fall Short?

October 24, 2024

Autores: Chenxin An, Jun Zhang, Ming Zhong, Lei Li, Shansan Gong, Yao Luo, Jingjing Xu, Lingpeng Kong

cs.AI

Resumen

Los avances en el entrenamiento distribuido y los mecanismos de atención eficientes han ampliado significativamente los tamaños de ventana de contexto de los grandes modelos de lenguaje (LLMs). Sin embargo, trabajos recientes revelan que las longitudes efectivas de contexto de los LLMs de código abierto a menudo son insuficientes, generalmente sin superar la mitad de sus longitudes de entrenamiento. En este trabajo, atribuimos esta limitación a la distribución de frecuencia sesgada hacia la izquierda de las posiciones relativas formadas en las etapas de preentrenamiento y postentrenamiento de los LLMs, lo cual obstaculiza su capacidad para recopilar información distante de manera efectiva. Para abordar este desafío, presentamos ShifTed Rotray position embeddING (STRING). STRING desplaza posiciones bien entrenadas para sobrescribir las posiciones originales ineficaces durante la inferencia, mejorando el rendimiento dentro de sus longitudes de entrenamiento existentes. Los resultados experimentales muestran que sin entrenamiento adicional, STRING mejora drásticamente el rendimiento de los últimos modelos a gran escala, como Llama3.1 70B y Qwen2 72B, en más de 10 puntos en los populares bancos de pruebas de contexto largo RULER e InfiniteBench, estableciendo nuevos resultados de vanguardia para los LLMs de código abierto. En comparación con los modelos comerciales, Llama 3.1 70B con \method incluso logra un mejor rendimiento que GPT-4-128K y supera claramente a Claude 2 y Kimi-chat.

English

Advancements in distributed training and efficient attention mechanisms have significantly expanded the context window sizes of large language models (LLMs). However, recent work reveals that the effective context lengths of open-source LLMs often fall short, typically not exceeding half of their training lengths. In this work, we attribute this limitation to the left-skewed frequency distribution of relative positions formed in LLMs pretraining and post-training stages, which impedes their ability to effectively gather distant information. To address this challenge, we introduce ShifTed Rotray position embeddING (STRING). STRING shifts well-trained positions to overwrite the original ineffective positions during inference, enhancing performance within their existing training lengths. Experimental results show that without additional training, STRING dramatically improves the performance of the latest large-scale models, such as Llama3.1 70B and Qwen2 72B, by over 10 points on popular long-context benchmarks RULER and InfiniteBench, establishing new state-of-the-art results for open-source LLMs. Compared to commercial models, Llama 3.1 70B with \method even achieves better performance than GPT-4-128K and clearly surpasses Claude 2 and Kimi-chat.