LOOM-Scope: un framework completo ed efficiente per la valutazione di modelli con contesto esteso (LOng-cOntext Model)

LOOM-Scope: a comprehensive and efficient LOng-cOntext Model evaluation framework

July 7, 2025

Autori: Zecheng Tang, Haitian Wang, Quantong Qiu, Baibei Ji, Ruoxi Sun, Keyan Zhou, Juntao Li, Min Zhang

cs.AI

Abstract

L'elaborazione di contesti lunghi è diventata una capacità fondamentale per i grandi modelli linguistici (LLM). Per valutare le prestazioni dei modelli in contesti lunghi, sono stati proposti numerosi benchmark di valutazione. Tuttavia, le variazioni nelle impostazioni di valutazione tra questi benchmark portano a risultati incoerenti, rendendo difficile effettuare confronti affidabili. Inoltre, l'elevato costo computazionale della valutazione di contesti lunghi rappresenta un ostacolo significativo per la comunità nel condurre valutazioni complete dei modelli per contesti lunghi. In questo articolo, proponiamo LOOM-Scope, un framework completo ed efficiente per la valutazione di contesti lunghi. LOOM-Scope standardizza le impostazioni di valutazione tra diversi benchmark, supporta l'implementazione di metodi efficienti di accelerazione dell'inferenza per contesti lunghi e introduce una suite di benchmark olistica ma leggera per valutare i modelli in modo completo. Homepage: https://loomscope.github.io

English

Long-context processing has become a fundamental capability for large language models~(LLMs). To assess model's long-context performance, numerous long-context evaluation benchmarks have been proposed. However, variations in evaluation settings across these benchmarks lead to inconsistent results, making it difficult to draw reliable comparisons. Besides, the high computational cost of long-context evaluation poses a significant barrier for the community to conduct comprehensive assessments of long-context models. In this paper, we propose LOOM-Scope, a comprehensive and efficient framework for long-context evaluation. LOOM-Scope standardizes evaluation settings across diverse benchmarks, supports deployment of efficient long-context inference acceleration methods, and introduces a holistic yet lightweight benchmark suite to evaluate models comprehensively. Homepage: https://loomscope.github.io