Iper-multi-step: La Verità Dietro le Difficili Attività a Lungo Contesto

Hyper-multi-step: The Truth Behind Difficult Long-context Tasks

October 6, 2024

Autori: Yijiong Yu

cs.AI

Abstract

I modelli linguistici a lungo contesto (LCLM), caratterizzati dalla loro ampia finestra di contesto, stanno diventando sempre più popolari. Nel frattempo, molti benchmark a lungo contesto presentano compiti impegnativi che persino i LCLM più avanzati faticano a completare. Tuttavia, le fonti sottostanti dei vari compiti impegnativi a lungo contesto sono state raramente studiate. Per colmare questa lacuna, conduciamo esperimenti per indicare che la loro difficoltà deriva principalmente da due questioni di base: "recupero multi-corrispondenza", che richiede il recupero simultaneo di più elementi, e "recupero basato sulla logica", che richiede un giudizio logico all'interno dei criteri di recupero. Questi due problemi, sebbene apparentemente semplici, superano effettivamente le capacità dei LCLM poiché sono dimostrati essere iper-multistep (richiedono numerosi passaggi per essere risolti) per natura. Questa scoperta potrebbe spiegare perché i LLM faticano con compiti a lungo contesto più avanzati, offrendo una prospettiva più accurata per ripensare le soluzioni per essi.

English

Long-context language models (LCLM), characterized by their extensive context window, is becoming increasingly popular. Meanwhile, many long-context benchmarks present challenging tasks that even the most advanced LCLMs struggle to complete. However, the underlying sources of various challenging long-context tasks have seldom been studied. To bridge this gap, we conduct experiments to indicate their difficulty stems primarily from two basic issues: "multi-matching retrieval," which requires the simultaneous retrieval of multiple items, and "logic-based retrieval," which necessitates logical judgment within retrieval criteria. These two problems, while seemingly straightforward, actually exceed the capabilities of LCLMs because they are proven to be hyper-multi-step (demanding numerous steps to solve) in nature. This finding could explain why LLMs struggle with more advanced long-context tasks, providing a more accurate perspective for rethinking solutions for them.