LOOM-Scope: een uitgebreid en efficiënt evaluatiekader voor LOng-cOntext Modellen
LOOM-Scope: a comprehensive and efficient LOng-cOntext Model evaluation framework
July 7, 2025
Auteurs: Zecheng Tang, Haitian Wang, Quantong Qiu, Baibei Ji, Ruoxi Sun, Keyan Zhou, Juntao Li, Min Zhang
cs.AI
Samenvatting
Lang-contextverwerking is een fundamentele capaciteit geworden voor grote taalmodelen (LLMs). Om de lang-contextprestaties van modellen te beoordelen, zijn tal van lang-contextevaluatiebenchmarks voorgesteld. Variaties in evaluatie-instellingen tussen deze benchmarks leiden echter tot inconsistente resultaten, wat het moeilijk maakt om betrouwbare vergelijkingen te trekken. Daarnaast vormen de hoge rekenkosten van lang-contextevaluatie een aanzienlijke barrière voor de gemeenschap om uitgebreide beoordelingen van lang-contextmodellen uit te voeren. In dit artikel stellen we LOOM-Scope voor, een uitgebreid en efficiënt raamwerk voor lang-contextevaluatie. LOOM-Scope standaardiseert evaluatie-instellingen over diverse benchmarks, ondersteunt de implementatie van efficiënte versnellingsmethoden voor lang-contextinferentie, en introduceert een holistische maar lichtgewicht benchmarksuite om modellen uitgebreid te evalueren. Homepage: https://loomscope.github.io
English
Long-context processing has become a fundamental capability for large
language models~(LLMs). To assess model's long-context performance, numerous
long-context evaluation benchmarks have been proposed. However, variations in
evaluation settings across these benchmarks lead to inconsistent results,
making it difficult to draw reliable comparisons. Besides, the high
computational cost of long-context evaluation poses a significant barrier for
the community to conduct comprehensive assessments of long-context models. In
this paper, we propose LOOM-Scope, a comprehensive and efficient framework for
long-context evaluation. LOOM-Scope standardizes evaluation settings across
diverse benchmarks, supports deployment of efficient long-context inference
acceleration methods, and introduces a holistic yet lightweight benchmark suite
to evaluate models comprehensively. Homepage: https://loomscope.github.io