NeedleBench: Será que LLMs conseguem fazer recuperação e raciocínio em 1 milhão de contextos?

NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?

July 16, 2024

Autores: Mo Li, Songyang Zhang, Yunxin Liu, Kai Chen

cs.AI

Resumo

Na avaliação das capacidades de longo contexto de grandes modelos de linguagem (LLMs), identificar conteúdo relevante para a consulta de um usuário a partir de documentos longos originais é um pré-requisito crucial para que qualquer LLM possa responder a perguntas com base em texto longo. Apresentamos o NeedleBench, um framework composto por uma série de tarefas progressivamente mais desafiadoras para avaliar as capacidades bilíngues de longo contexto, abrangendo múltiplos intervalos de comprimento (4k, 8k, 32k, 128k, 200k, 1000k e além) e diferentes faixas de profundidade, permitindo a inserção estratégica de pontos de dados críticos em diferentes zonas de profundidade de texto para testar rigorosamente as capacidades de recuperação e raciocínio dos modelos em contextos diversos. Utilizamos o framework NeedleBench para avaliar quão bem os principais modelos de código aberto podem identificar informações-chave relevantes para a pergunta e aplicar essas informações ao raciocínio em textos longos bilíngues. Além disso, propomos o Desafio de Rastreamento Ancestral (ATC) para imitar a complexidade de desafios de raciocínio lógico que provavelmente estão presentes em tarefas de longo contexto do mundo real, fornecendo um método simples para avaliar LLMs lidando com situações complexas de longo contexto. Nossos resultados sugerem que os atuais LLMs têm um espaço significativo para melhorias em aplicações práticas de longo contexto, pois enfrentam dificuldades com a complexidade de desafios de raciocínio lógico que provavelmente estão presentes em tarefas de longo contexto do mundo real. Todos os códigos e recursos estão disponíveis no OpenCompass: https://github.com/open-compass/opencompass.

English

In evaluating the long-context capabilities of large language models (LLMs), identifying content relevant to a user's query from original long documents is a crucial prerequisite for any LLM to answer questions based on long text. We present NeedleBench, a framework consisting of a series of progressively more challenging tasks for assessing bilingual long-context capabilities, spanning multiple length intervals (4k, 8k, 32k, 128k, 200k, 1000k, and beyond) and different depth ranges, allowing the strategic insertion of critical data points in different text depth zones to rigorously test the retrieval and reasoning capabilities of models in diverse contexts. We use the NeedleBench framework to assess how well the leading open-source models can identify key information relevant to the question and apply that information to reasoning in bilingual long texts. Furthermore, we propose the Ancestral Trace Challenge (ATC) to mimic the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks, providing a simple method for evaluating LLMs in dealing with complex long-context situations. Our results suggest that current LLMs have significant room for improvement in practical long-context applications, as they struggle with the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks. All codes and resources are available at OpenCompass: https://github.com/open-compass/opencompass.