Los LLM de contexto largo tienen dificultades con el aprendizaje en contexto prolongado.

Long-context LLMs Struggle with Long In-context Learning

April 2, 2024

Autores: Tianle Li, Ge Zhang, Quy Duc Do, Xiang Yue, Wenhu Chen

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han logrado avances significativos en el manejo de secuencias largas que superan los 32K tokens. Sin embargo, la evaluación de su rendimiento se ha limitado principalmente a métricas como la perplejidad y tareas sintéticas, que pueden no capturar completamente sus capacidades en escenarios del mundo real más matizados. Este estudio introduce un punto de referencia especializado (LIConBench) centrado en el aprendizaje en contexto largo dentro del ámbito de la clasificación de etiquetas extremas. Seleccionamos meticulosamente seis conjuntos de datos con un rango de etiquetas que abarca de 28 a 174 clases, cubriendo diferentes longitudes de entrada (demostraciones few-shot) desde 2K hasta 50K. Nuestro punto de referencia requiere que los LLMs comprendan toda la entrada para reconocer los espacios masivos de etiquetas y realizar predicciones correctas. Evaluamos 13 LLMs de contexto largo en nuestros puntos de referencia. Descubrimos que los LLMs de contexto largo se desempeñan relativamente bien bajo una longitud de token de 20K, y el rendimiento se beneficia de la utilización de la ventana de contexto larga. Sin embargo, después de que la ventana de contexto supera los 20K, la mayoría de los LLMs, excepto GPT-4, experimentan una caída dramática. Esto sugiere una brecha notable en las capacidades actuales de los LLMs para procesar y comprender secuencias largas y ricas en contexto. Un análisis más profundo reveló una tendencia entre los modelos a favorecer predicciones para etiquetas presentadas hacia el final de la secuencia. Su capacidad para razonar sobre múltiples piezas en la secuencia larga aún debe mejorar. Nuestro estudio revela que la comprensión y el razonamiento de contexto largo siguen siendo una tarea desafiante para los LLMs existentes. Creemos que LIConBench podría servir como una evaluación más realista para los futuros LLMs de contexto largo.

English

Large Language Models (LLMs) have made significant strides in handling long sequences exceeding 32K tokens. However, their performance evaluation has largely been confined to metrics like perplexity and synthetic tasks, which may not fully capture their abilities in more nuanced, real-world scenarios. This study introduces a specialized benchmark (LIConBench) focusing on long in-context learning within the realm of extreme-label classification. We meticulously selected six datasets with a label range spanning 28 to 174 classes covering different input (few-shot demonstration) length from 2K to 50K. Our benchmark requires LLMs to comprehend the entire input to recognize the massive label spaces to make correct prediction. We evaluate 13 long-context LLMs on our benchmarks. We find that the long-context LLMs perform relatively well under the token length of 20K and the performance benefits from utilizing the long context window. However, after the context window exceeds 20K, most LLMs except GPT-4 will dip dramatically. This suggests a notable gap in current LLM capabilities for processing and understanding long, context-rich sequences. Further analysis revealed a tendency among models to favor predictions for labels presented towards the end at the sequence. Their ability to reason over multiple pieces in the long sequence is yet to be improved. Our study reveals that long context understanding and reasoning is still a challenging task for the existing LLMs. We believe LIConBench could serve as a more realistic evaluation for the future long context LLMs.