Armadilhas na Avaliação de Modelos de Linguagem como Previsores
Pitfalls in Evaluating Language Model Forecasters
May 31, 2025
Autores: Daniel Paleka, Shashwat Goel, Jonas Geiping, Florian Tramèr
cs.AI
Resumo
Modelos de linguagem de grande escala (LLMs) têm sido recentemente aplicados a tarefas de previsão, com alguns trabalhos afirmando que esses sistemas igualam ou superam o desempenho humano. Neste artigo, argumentamos que, como comunidade, devemos ser cautelosos com tais conclusões, pois a avaliação de previsores baseados em LLMs apresenta desafios únicos. Identificamos duas categorias amplas de problemas: (1) dificuldade em confiar nos resultados de avaliação devido a várias formas de vazamento temporal, e (2) dificuldade em extrapolar o desempenho de avaliação para previsões no mundo real. Por meio de análise sistemática e exemplos concretos de trabalhos anteriores, demonstramos como falhas na avaliação podem levantar preocupações sobre as alegações de desempenho atuais e futuras. Argumentamos que metodologias de avaliação mais rigorosas são necessárias para avaliar com confiança as habilidades de previsão dos LLMs.
English
Large language models (LLMs) have recently been applied to forecasting tasks,
with some works claiming these systems match or exceed human performance. In
this paper, we argue that, as a community, we should be careful about such
conclusions as evaluating LLM forecasters presents unique challenges. We
identify two broad categories of issues: (1) difficulty in trusting evaluation
results due to many forms of temporal leakage, and (2) difficulty in
extrapolating from evaluation performance to real-world forecasting. Through
systematic analysis and concrete examples from prior work, we demonstrate how
evaluation flaws can raise concerns about current and future performance
claims. We argue that more rigorous evaluation methodologies are needed to
confidently assess the forecasting abilities of LLMs.