NeedleBench: Gli LLM Possono Eseguire Recupero e Ragionamento in una Finestra di Contesto da 1 Milione?

NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?

July 16, 2024

Autori: Mo Li, Songyang Zhang, Yunxin Liu, Kai Chen

cs.AI

Abstract

Nella valutazione delle capacità di contesto lungo dei modelli linguistici di grandi dimensioni (LLM), l'identificazione di contenuti rilevanti per la query dell'utente da documenti originali di lunga estensione è un prerequisito cruciale affinché un LLM possa rispondere a domande basate su testi lunghi. Presentiamo NeedleBench, un framework composto da una serie di task progressivamente più impegnativi per valutare le capacità bilingue di contesto lungo, che coprono intervalli di lunghezza multipli (4k, 8k, 32k, 128k, 200k, 1000k e oltre) e diversi intervalli di profondità, consentendo l'inserimento strategico di punti dati critici in diverse zone di profondità del testo per testare rigorosamente le capacità di recupero e ragionamento dei modelli in contesti diversificati. Utilizziamo il framework NeedleBench per valutare quanto bene i principali modelli open source siano in grado di identificare le informazioni chiave rilevanti per la domanda e applicare tali informazioni al ragionamento in testi bilingue di lunga estensione. Inoltre, proponiamo l'Ancestral Trace Challenge (ATC) per simulare la complessità delle sfide di ragionamento logico che è probabile siano presenti nei task di contesto lungo del mondo reale, fornendo un metodo semplice per valutare gli LLM nella gestione di situazioni complesse di contesto lungo. I nostri risultati suggeriscono che gli attuali LLM hanno un margine di miglioramento significativo nelle applicazioni pratiche di contesto lungo, poiché faticano a gestire la complessità delle sfide di ragionamento logico che è probabile siano presenti nei task di contesto lungo del mondo reale. Tutti i codici e le risorse sono disponibili su OpenCompass: https://github.com/open-compass/opencompass.

English

In evaluating the long-context capabilities of large language models (LLMs), identifying content relevant to a user's query from original long documents is a crucial prerequisite for any LLM to answer questions based on long text. We present NeedleBench, a framework consisting of a series of progressively more challenging tasks for assessing bilingual long-context capabilities, spanning multiple length intervals (4k, 8k, 32k, 128k, 200k, 1000k, and beyond) and different depth ranges, allowing the strategic insertion of critical data points in different text depth zones to rigorously test the retrieval and reasoning capabilities of models in diverse contexts. We use the NeedleBench framework to assess how well the leading open-source models can identify key information relevant to the question and apply that information to reasoning in bilingual long texts. Furthermore, we propose the Ancestral Trace Challenge (ATC) to mimic the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks, providing a simple method for evaluating LLMs in dealing with complex long-context situations. Our results suggest that current LLMs have significant room for improvement in practical long-context applications, as they struggle with the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks. All codes and resources are available at OpenCompass: https://github.com/open-compass/opencompass.