Insidie nella Valutazione dei Modelli Linguistici Previsionali
Pitfalls in Evaluating Language Model Forecasters
May 31, 2025
Autori: Daniel Paleka, Shashwat Goel, Jonas Geiping, Florian Tramèr
cs.AI
Abstract
I modelli linguistici di grandi dimensioni (LLM) sono stati recentemente applicati a compiti di previsione, con alcuni lavori che affermano che questi sistemi eguagliano o superano le prestazioni umane. In questo articolo, sosteniamo che, come comunità, dovremmo essere cauti riguardo a tali conclusioni, poiché la valutazione dei sistemi di previsione basati su LLM presenta sfide uniche. Identifichiamo due ampie categorie di problemi: (1) difficoltà nel fidarsi dei risultati di valutazione a causa di molteplici forme di "temporal leakage" (perdita temporale), e (2) difficoltà nell'estrapolare le prestazioni di valutazione rispetto alle previsioni nel mondo reale. Attraverso un'analisi sistematica e esempi concreti tratti da lavori precedenti, dimostriamo come i difetti nella valutazione possano sollevare preoccupazioni riguardo alle affermazioni sulle prestazioni attuali e future. Sosteniamo che sono necessarie metodologie di valutazione più rigorose per valutare con sicurezza le capacità di previsione degli LLM.
English
Large language models (LLMs) have recently been applied to forecasting tasks,
with some works claiming these systems match or exceed human performance. In
this paper, we argue that, as a community, we should be careful about such
conclusions as evaluating LLM forecasters presents unique challenges. We
identify two broad categories of issues: (1) difficulty in trusting evaluation
results due to many forms of temporal leakage, and (2) difficulty in
extrapolating from evaluation performance to real-world forecasting. Through
systematic analysis and concrete examples from prior work, we demonstrate how
evaluation flaws can raise concerns about current and future performance
claims. We argue that more rigorous evaluation methodologies are needed to
confidently assess the forecasting abilities of LLMs.