Hiper-multietapa: La Verdad Detrás de Tareas Difíciles de Largo Contexto

Hyper-multi-step: The Truth Behind Difficult Long-context Tasks

October 6, 2024

Autores: Yijiong Yu

cs.AI

Resumen

Los modelos de lenguaje de largo contexto (LLC), caracterizados por su extensa ventana de contexto, están ganando cada vez más popularidad. Mientras tanto, muchos bancos de pruebas de largo contexto presentan tareas desafiantes que incluso los LLC más avanzados tienen dificultades para completar. Sin embargo, las fuentes subyacentes de diversas tareas desafiantes de largo contexto rara vez han sido estudiadas. Para cerrar esta brecha, llevamos a cabo experimentos que indican que su dificultad se origina principalmente en dos problemas básicos: "recuperación de múltiples coincidencias", que requiere la recuperación simultánea de varios elementos, y "recuperación basada en lógica", que exige un juicio lógico dentro de los criterios de recuperación. Estos dos problemas, aunque parecen sencillos, en realidad superan las capacidades de los LLC porque se ha demostrado que son hiper-multietapa (demandan numerosos pasos para resolverse) por naturaleza. Este hallazgo podría explicar por qué los LLC tienen dificultades con tareas de largo contexto más avanzadas, proporcionando una perspectiva más precisa para repensar soluciones para ellas.

English

Long-context language models (LCLM), characterized by their extensive context window, is becoming increasingly popular. Meanwhile, many long-context benchmarks present challenging tasks that even the most advanced LCLMs struggle to complete. However, the underlying sources of various challenging long-context tasks have seldom been studied. To bridge this gap, we conduct experiments to indicate their difficulty stems primarily from two basic issues: "multi-matching retrieval," which requires the simultaneous retrieval of multiple items, and "logic-based retrieval," which necessitates logical judgment within retrieval criteria. These two problems, while seemingly straightforward, actually exceed the capabilities of LCLMs because they are proven to be hyper-multi-step (demanding numerous steps to solve) in nature. This finding could explain why LLMs struggle with more advanced long-context tasks, providing a more accurate perspective for rethinking solutions for them.