Hyper-multi-step: De Waarheid Achter Lastige Taken met Lange Context

Hyper-multi-step: The Truth Behind Difficult Long-context Tasks

October 6, 2024

Auteurs: Yijiong Yu

cs.AI

Samenvatting

Lang-context taalmodellen (LCLM), gekenmerkt door hun uitgebreide contextvenster, worden steeds populairder. Ondertussen presenteren veel lang-context benchmarks uitdagende taken die zelfs de meest geavanceerde LCLM-modellen moeite hebben om te voltooien. Echter, de onderliggende bronnen van verschillende uitdagende lang-context taken zijn zelden bestudeerd. Om deze kloof te overbruggen, voeren we experimenten uit om aan te geven dat hun moeilijkheid voornamelijk voortkomt uit twee basisproblemen: "multi-matching retrieval," wat vereist dat meerdere items tegelijk worden opgehaald, en "logica-gebaseerde retrieval," wat logisch oordeel binnen ophaalcriteria vereist. Deze twee problemen, ogenschijnlijk eenvoudig, overstijgen eigenlijk de mogelijkheden van LCLM-modellen omdat ze bewezen hyper-multi-step (veel stappen vereisen om op te lossen) van aard zijn. Deze bevinding zou kunnen verklaren waarom LLMs moeite hebben met meer geavanceerde lang-context taken, en biedt een nauwkeuriger perspectief voor het heroverwegen van oplossingen ervoor.

English

Long-context language models (LCLM), characterized by their extensive context window, is becoming increasingly popular. Meanwhile, many long-context benchmarks present challenging tasks that even the most advanced LCLMs struggle to complete. However, the underlying sources of various challenging long-context tasks have seldom been studied. To bridge this gap, we conduct experiments to indicate their difficulty stems primarily from two basic issues: "multi-matching retrieval," which requires the simultaneous retrieval of multiple items, and "logic-based retrieval," which necessitates logical judgment within retrieval criteria. These two problems, while seemingly straightforward, actually exceed the capabilities of LCLMs because they are proven to be hyper-multi-step (demanding numerous steps to solve) in nature. This finding could explain why LLMs struggle with more advanced long-context tasks, providing a more accurate perspective for rethinking solutions for them.