Подводные камни в оценке языковых моделей как прогнозирующих систем
Pitfalls in Evaluating Language Model Forecasters
May 31, 2025
Авторы: Daniel Paleka, Shashwat Goel, Jonas Geiping, Florian Tramèr
cs.AI
Аннотация
Крупные языковые модели (LLM) недавно начали применяться для задач прогнозирования, причём некоторые работы утверждают, что эти системы соответствуют или превосходят человеческие показатели. В данной статье мы утверждаем, что научному сообществу следует с осторожностью относиться к таким выводам, поскольку оценка прогнозирующих способностей LLM сопряжена с уникальными трудностями. Мы выделяем две основные категории проблем: (1) сложность доверия к результатам оценки из-за различных форм временной утечки данных и (2) трудности экстраполяции результатов оценки на реальные задачи прогнозирования. С помощью систематического анализа и конкретных примеров из предыдущих работ мы показываем, как недостатки в оценке могут вызывать сомнения в текущих и будущих заявлениях о производительности. Мы утверждаем, что для уверенной оценки прогнозирующих способностей LLM необходимы более строгие методологии оценки.
English
Large language models (LLMs) have recently been applied to forecasting tasks,
with some works claiming these systems match or exceed human performance. In
this paper, we argue that, as a community, we should be careful about such
conclusions as evaluating LLM forecasters presents unique challenges. We
identify two broad categories of issues: (1) difficulty in trusting evaluation
results due to many forms of temporal leakage, and (2) difficulty in
extrapolating from evaluation performance to real-world forecasting. Through
systematic analysis and concrete examples from prior work, we demonstrate how
evaluation flaws can raise concerns about current and future performance
claims. We argue that more rigorous evaluation methodologies are needed to
confidently assess the forecasting abilities of LLMs.