FutureX: Een Geavanceerde Live Benchmark voor LLM-Agenten in Toekomstvoorspelling

FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

August 16, 2025

Auteurs: Zhiyuan Zeng, Jiashuo Liu, Siyuan Chen, Tianci He, Yali Liao, Jinpeng Wang, Zaiyuan Wang, Yang Yang, Lingyue Yin, Mingren Yin, Zhenwei Zhu, Tianle Cai, Zehui Chen, Jiecao Chen, Yantao Du, Xiang Gao, Jiacheng Guo, Liang Hu, Jianpeng Jiao, Xiangsheng Li, Jingkai Liu, Shuang Ni, Zhoufutu Wen, Ge Zhang, Kaiyuan Zhang, Xin Zhou, Jose Blanchet, Xipeng Qiu, Mengdi Wang, Wenhao Huang

cs.AI

Samenvatting

Toekomstvoorspelling is een complexe taak voor LLM-agents, die een hoog niveau van analytisch denken, informatievergaring, contextueel begrip en besluitvorming onder onzekerheid vereist. Agents moeten niet alleen grote hoeveelheden dynamische informatie verzamelen en interpreteren, maar ook diverse gegevensbronnen integreren, onzekerheden afwegen en voorspellingen aanpassen op basis van opkomende trends, net zoals menselijke experts doen in domeinen zoals politiek, economie en financiën. Ondanks het belang ervan bestaat er geen grootschalige benchmark voor het evalueren van agents op toekomstvoorspelling, voornamelijk vanwege de uitdagingen bij het verwerken van real-time updates en het verkrijgen van tijdige, accurate antwoorden. Om dit aan te pakken, introduceren we FutureX, een dynamische en live evaluatiebenchmark die specifiek is ontworpen voor LLM-agents die toekomstvoorspellingstaken uitvoeren. FutureX is de grootste en meest diverse live benchmark voor toekomstvoorspelling, die real-time dagelijkse updates ondersteunt en gegevensvervuiling elimineert via een geautomatiseerde pijplijn voor het verzamelen van vragen en antwoorden. We evalueren 25 LLM/agent-modellen, waaronder modellen met redeneervaardigheden, zoekmogelijkheden en integratie van externe tools, zoals het open-source Deep Research Agent en closed-source Deep Research-modellen. Deze uitgebreide evaluatie beoordeelt de adaptieve redeneervaardigheden en prestaties van agents in dynamische omgevingen. Daarnaast bieden we diepgaande analyses van de faalmodi en prestatievalkuilen van agents in toekomstgerichte taken, waaronder de kwetsbaarheid voor nepwebpagina's en de temporele geldigheid. Ons doel is om een dynamische, vervuilingvrije evaluatiestandaard te creëren die de ontwikkeling van LLM-agents stimuleert die kunnen presteren op het niveau van professionele menselijke analisten in complexe redenering en voorspellend denken.

English

Future prediction is a complex task for LLM agents, requiring a high level of analytical thinking, information gathering, contextual understanding, and decision-making under uncertainty. Agents must not only gather and interpret vast amounts of dynamic information but also integrate diverse data sources, weigh uncertainties, and adapt predictions based on emerging trends, just as human experts do in fields like politics, economics, and finance. Despite its importance, no large-scale benchmark exists for evaluating agents on future prediction, largely due to challenges in handling real-time updates and retrieving timely, accurate answers. To address this, we introduce FutureX, a dynamic and live evaluation benchmark specifically designed for LLM agents performing future prediction tasks. FutureX is the largest and most diverse live benchmark for future prediction, supporting real-time daily updates and eliminating data contamination through an automated pipeline for question gathering and answer collection. We evaluate 25 LLM/agent models, including those with reasoning, search capabilities, and integration of external tools such as the open-source Deep Research Agent and closed-source Deep Research models. This comprehensive evaluation assesses agents' adaptive reasoning and performance in dynamic environments. Additionally, we provide in-depth analyses of agents' failure modes and performance pitfalls in future-oriented tasks, including the vulnerability to fake web pages and the temporal validity. Our goal is to establish a dynamic, contamination-free evaluation standard that drives the development of LLM agents capable of performing at the level of professional human analysts in complex reasoning and predictive thinking.