Non Lasciare Nessun Documento Indietro: Benchmarking di LLM a Lungo Contesto con QA Multi-Documento Esteso

Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA

June 25, 2024

Autori: Minzheng Wang, Longze Chen, Cheng Fu, Shengyi Liao, Xinghua Zhang, Bingli Wu, Haiyang Yu, Nan Xu, Lei Zhang, Run Luo, Yunshui Li, Min Yang, Fei Huang, Yongbin Li

cs.AI

Abstract

Le capacità di modellazione a contesto lungo hanno attirato un'attenzione diffusa, portando all'emergere di Modelli Linguistici di Grande Dimensione (LLM) con finestre di contesto ultra-estese. Nel frattempo, i benchmark per valutare gli LLM a contesto lungo stanno gradualmente raggiungendo il passo. Tuttavia, i benchmark esistenti utilizzano testi di rumore irrilevanti per estendere artificialmente la lunghezza dei casi di test, divergendo dagli scenari reali delle applicazioni a contesto lungo. Per colmare questa lacuna, proponiamo un nuovo benchmark a contesto lungo, Loong, allineato a scenari realistici attraverso un'estesa domanda e risposta (QA) multi-documento. A differenza della tipica QA su documenti, nei casi di test di Loong, ogni documento è rilevante per la risposta finale, e ignorare qualsiasi documento porterà al fallimento della risposta. Inoltre, Loong introduce quattro tipi di attività con una gamma di lunghezze di contesto: Localizzazione del Punto Focale, Confronto, Clustering e Catena di Ragionamento, per facilitare una valutazione più realistica e completa della comprensione a contesto lungo. Esperimenti estesi indicano che i modelli linguistici a contesto lungo esistenti mostrano ancora un potenziale considerevole di miglioramento. La generazione aumentata dal recupero (RAG) ottiene prestazioni scarse, dimostrando che Loong può valutare in modo affidabile le capacità di modellazione a contesto lungo del modello.

English

Long-context modeling capabilities have garnered widespread attention, leading to the emergence of Large Language Models (LLMs) with ultra-context windows. Meanwhile, benchmarks for evaluating long-context LLMs are gradually catching up. However, existing benchmarks employ irrelevant noise texts to artificially extend the length of test cases, diverging from the real-world scenarios of long-context applications. To bridge this gap, we propose a novel long-context benchmark, Loong, aligning with realistic scenarios through extended multi-document question answering (QA). Unlike typical document QA, in Loong's test cases, each document is relevant to the final answer, ignoring any document will lead to the failure of the answer. Furthermore, Loong introduces four types of tasks with a range of context lengths: Spotlight Locating, Comparison, Clustering, and Chain of Reasoning, to facilitate a more realistic and comprehensive evaluation of long-context understanding. Extensive experiments indicate that existing long-context language models still exhibit considerable potential for enhancement. Retrieval augmented generation (RAG) achieves poor performance, demonstrating that Loong can reliably assess the model's long-context modeling capabilities.