Hyper-Multi-Step: Die Wahrheit hinter schwierigen Langkontext-Aufgaben

Hyper-multi-step: The Truth Behind Difficult Long-context Tasks

October 6, 2024

Autoren: Yijiong Yu

cs.AI

Zusammenfassung

Langkontext-Sprachmodelle (LKM), die sich durch ihr umfangreiches Kontextfenster auszeichnen, werden zunehmend beliebter. Gleichzeitig präsentieren viele Langkontext-Benchmarktests anspruchsvolle Aufgaben, bei denen selbst fortgeschrittene LKM Schwierigkeiten haben, sie abzuschließen. Die zugrunde liegenden Ursachen verschiedener herausfordernder Langkontext-Aufgaben wurden jedoch selten untersucht. Um diese Lücke zu schließen, führen wir Experimente durch, um darauf hinzuweisen, dass ihre Schwierigkeit hauptsächlich auf zwei grundlegenden Problemen beruht: "Multi-Matching-Abruf", bei dem die gleichzeitige Abfrage mehrerer Elemente erforderlich ist, und "Logik-basierter Abruf", der logische Beurteilung innerhalb der Abrufkriterien erfordert. Diese beiden Probleme, die auf den ersten Blick einfach erscheinen, übersteigen tatsächlich die Fähigkeiten von LKM, da sie sich als hyper-multischrittig (mit zahlreichen Schritten zur Lösung) erwiesen haben. Diese Erkenntnis könnte erklären, warum LKM Schwierigkeiten mit fortgeschritteneren Langkontext-Aufgaben haben und somit eine genauere Perspektive für die Neubewertung von Lösungen für sie bieten.

English

Long-context language models (LCLM), characterized by their extensive context window, is becoming increasingly popular. Meanwhile, many long-context benchmarks present challenging tasks that even the most advanced LCLMs struggle to complete. However, the underlying sources of various challenging long-context tasks have seldom been studied. To bridge this gap, we conduct experiments to indicate their difficulty stems primarily from two basic issues: "multi-matching retrieval," which requires the simultaneous retrieval of multiple items, and "logic-based retrieval," which necessitates logical judgment within retrieval criteria. These two problems, while seemingly straightforward, actually exceed the capabilities of LCLMs because they are proven to be hyper-multi-step (demanding numerous steps to solve) in nature. This finding could explain why LLMs struggle with more advanced long-context tasks, providing a more accurate perspective for rethinking solutions for them.