Hyper-multi-étape : La Vérité Derrière les Tâches Difficiles à Long Contexte

Hyper-multi-step: The Truth Behind Difficult Long-context Tasks

October 6, 2024

Auteurs: Yijiong Yu

cs.AI

Résumé

Les modèles linguistiques à long contexte (LCLC), caractérisés par leur fenêtre contextuelle étendue, gagnent en popularité. En même temps, de nombreux bancs d'essai à long contexte présentent des tâches complexes auxquelles même les LCLC les plus avancés ont du mal à répondre. Cependant, les sources sous-jacentes des diverses tâches complexes à long contexte ont rarement été étudiées. Pour combler cette lacune, nous menons des expériences pour indiquer que leur difficulté découle principalement de deux problèmes fondamentaux : le "récupération multi-correspondance", qui nécessite la récupération simultanée de plusieurs éléments, et la "récupération basée sur la logique", qui exige un jugement logique dans les critères de récupération. Ces deux problèmes, bien qu'apparemment simples, dépassent en réalité les capacités des LCLC car ils sont prouvés être hyper-multi-étapes (exigeant de nombreuses étapes pour être résolus) par nature. Cette découverte pourrait expliquer pourquoi les LCLC ont du mal avec des tâches à long contexte plus avancées, offrant une perspective plus précise pour repenser les solutions les concernant.

English

Long-context language models (LCLM), characterized by their extensive context window, is becoming increasingly popular. Meanwhile, many long-context benchmarks present challenging tasks that even the most advanced LCLMs struggle to complete. However, the underlying sources of various challenging long-context tasks have seldom been studied. To bridge this gap, we conduct experiments to indicate their difficulty stems primarily from two basic issues: "multi-matching retrieval," which requires the simultaneous retrieval of multiple items, and "logic-based retrieval," which necessitates logical judgment within retrieval criteria. These two problems, while seemingly straightforward, actually exceed the capabilities of LCLMs because they are proven to be hyper-multi-step (demanding numerous steps to solve) in nature. This finding could explain why LLMs struggle with more advanced long-context tasks, providing a more accurate perspective for rethinking solutions for them.