Fallstricke bei der Bewertung von Sprachmodell-Vorhersagen
Pitfalls in Evaluating Language Model Forecasters
May 31, 2025
Autoren: Daniel Paleka, Shashwat Goel, Jonas Geiping, Florian Tramèr
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) wurden in letzter Zeit für Prognoseaufgaben eingesetzt, wobei einige Arbeiten behaupten, dass diese Systeme die menschliche Leistung erreichen oder übertreffen. In diesem Papier argumentieren wir, dass wir als Gemeinschaft vorsichtig mit solchen Schlussfolgerungen umgehen sollten, da die Bewertung von LLM-Prognosesystemen einzigartige Herausforderungen darstellt. Wir identifizieren zwei breite Kategorien von Problemen: (1) Schwierigkeiten, den Evaluationsergebnissen zu vertrauen, aufgrund vieler Formen von zeitlicher Datenlecks, und (2) Schwierigkeiten, von der Evaluationsleistung auf reale Prognosen zu schließen. Durch systematische Analysen und konkrete Beispiele aus früheren Arbeiten zeigen wir, wie Evaluationsfehler Bedenken hinsichtlich aktueller und zukünftiger Leistungsaussagen aufwerfen können. Wir argumentieren, dass strengere Evaluationsmethoden erforderlich sind, um die Prognosefähigkeiten von LLMs sicher bewerten zu können.
English
Large language models (LLMs) have recently been applied to forecasting tasks,
with some works claiming these systems match or exceed human performance. In
this paper, we argue that, as a community, we should be careful about such
conclusions as evaluating LLM forecasters presents unique challenges. We
identify two broad categories of issues: (1) difficulty in trusting evaluation
results due to many forms of temporal leakage, and (2) difficulty in
extrapolating from evaluation performance to real-world forecasting. Through
systematic analysis and concrete examples from prior work, we demonstrate how
evaluation flaws can raise concerns about current and future performance
claims. We argue that more rigorous evaluation methodologies are needed to
confidently assess the forecasting abilities of LLMs.