LOOM-Scope: uma estrutura abrangente e eficiente para avaliação de modelos de LOng-cOntexto
LOOM-Scope: a comprehensive and efficient LOng-cOntext Model evaluation framework
July 7, 2025
Autores: Zecheng Tang, Haitian Wang, Quantong Qiu, Baibei Ji, Ruoxi Sun, Keyan Zhou, Juntao Li, Min Zhang
cs.AI
Resumo
O processamento de contextos longos tornou-se uma capacidade fundamental para grandes modelos de linguagem (LLMs). Para avaliar o desempenho de modelos em contextos longos, diversos benchmarks de avaliação de contextos longos foram propostos. No entanto, variações nas configurações de avaliação entre esses benchmarks resultam em inconsistências, dificultando a realização de comparações confiáveis. Além disso, o alto custo computacional da avaliação de contextos longos representa uma barreira significativa para a comunidade na condução de avaliações abrangentes de modelos de contextos longos. Neste artigo, propomos o LOOM-Scope, um framework abrangente e eficiente para avaliação de contextos longos. O LOOM-Scope padroniza as configurações de avaliação em diversos benchmarks, suporta a implementação de métodos eficientes de aceleração de inferência para contextos longos e introduz um conjunto de benchmarks holístico e leve para avaliar modelos de forma abrangente. Página inicial: https://loomscope.github.io
English
Long-context processing has become a fundamental capability for large
language models~(LLMs). To assess model's long-context performance, numerous
long-context evaluation benchmarks have been proposed. However, variations in
evaluation settings across these benchmarks lead to inconsistent results,
making it difficult to draw reliable comparisons. Besides, the high
computational cost of long-context evaluation poses a significant barrier for
the community to conduct comprehensive assessments of long-context models. In
this paper, we propose LOOM-Scope, a comprehensive and efficient framework for
long-context evaluation. LOOM-Scope standardizes evaluation settings across
diverse benchmarks, supports deployment of efficient long-context inference
acceleration methods, and introduces a holistic yet lightweight benchmark suite
to evaluate models comprehensively. Homepage: https://loomscope.github.io