Hiper multi-etapa: A Verdade por Trás de Tarefas Longas de Contexto Difícil

Hyper-multi-step: The Truth Behind Difficult Long-context Tasks

October 6, 2024

Autores: Yijiong Yu

cs.AI

Resumo

Modelos de linguagem de longo contexto (MLLC), caracterizados por sua extensa janela de contexto, estão se tornando cada vez mais populares. Enquanto isso, muitos benchmarks de longo contexto apresentam tarefas desafiadoras que até mesmo os MLLCs mais avançados têm dificuldade em completar. No entanto, as fontes subjacentes de várias tarefas desafiadoras de longo contexto raramente foram estudadas. Para preencher essa lacuna, realizamos experimentos para indicar que sua dificuldade decorre principalmente de dois problemas básicos: "recuperação de múltiplas correspondências", que requer a recuperação simultânea de vários itens, e "recuperação baseada em lógica", que exige julgamento lógico dentro dos critérios de recuperação. Esses dois problemas, embora pareçam simples, na verdade excedem as capacidades dos MLLCs porque são comprovadamente hiper-multietapas (exigindo numerosas etapas para resolver) por natureza. Essa descoberta poderia explicar por que os MLLCs têm dificuldade com tarefas de longo contexto mais avançadas, fornecendo uma perspectiva mais precisa para repensar soluções para elas.

English

Long-context language models (LCLM), characterized by their extensive context window, is becoming increasingly popular. Meanwhile, many long-context benchmarks present challenging tasks that even the most advanced LCLMs struggle to complete. However, the underlying sources of various challenging long-context tasks have seldom been studied. To bridge this gap, we conduct experiments to indicate their difficulty stems primarily from two basic issues: "multi-matching retrieval," which requires the simultaneous retrieval of multiple items, and "logic-based retrieval," which necessitates logical judgment within retrieval criteria. These two problems, while seemingly straightforward, actually exceed the capabilities of LCLMs because they are proven to be hyper-multi-step (demanding numerous steps to solve) in nature. This finding could explain why LLMs struggle with more advanced long-context tasks, providing a more accurate perspective for rethinking solutions for them.