FutureX : Un Benchmark Avancé en Temps Réel pour les Agents LLM dans la Prédiction Future

FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

August 16, 2025

papers.authors: Zhiyuan Zeng, Jiashuo Liu, Siyuan Chen, Tianci He, Yali Liao, Jinpeng Wang, Zaiyuan Wang, Yang Yang, Lingyue Yin, Mingren Yin, Zhenwei Zhu, Tianle Cai, Zehui Chen, Jiecao Chen, Yantao Du, Xiang Gao, Jiacheng Guo, Liang Hu, Jianpeng Jiao, Xiangsheng Li, Jingkai Liu, Shuang Ni, Zhoufutu Wen, Ge Zhang, Kaiyuan Zhang, Xin Zhou, Jose Blanchet, Xipeng Qiu, Mengdi Wang, Wenhao Huang

cs.AI

papers.abstract

La prédiction future est une tâche complexe pour les agents LLM, nécessitant un haut niveau de pensée analytique, de collecte d'informations, de compréhension contextuelle et de prise de décision dans l'incertitude. Les agents doivent non seulement rassembler et interpréter de vastes quantités d'informations dynamiques, mais aussi intégrer des sources de données diverses, évaluer les incertitudes et adapter leurs prédictions en fonction des tendances émergentes, tout comme le font les experts humains dans des domaines tels que la politique, l'économie et la finance. Malgré son importance, il n'existe pas de benchmark à grande échelle pour évaluer les agents sur la prédiction future, principalement en raison des défis liés à la gestion des mises à jour en temps réel et à l'obtention de réponses précises et opportunes. Pour remédier à cela, nous introduisons FutureX, un benchmark d'évaluation dynamique et en temps réel spécialement conçu pour les agents LLM effectuant des tâches de prédiction future. FutureX est le benchmark en temps réel le plus vaste et le plus diversifié pour la prédiction future, prenant en charge des mises à jour quotidiennes en temps réel et éliminant la contamination des données grâce à un pipeline automatisé de collecte de questions et de réponses. Nous évaluons 25 modèles LLM/agents, y compris ceux dotés de capacités de raisonnement, de recherche et d'intégration d'outils externes tels que l'agent de recherche approfondie open-source et les modèles de recherche approfondie fermés. Cette évaluation complète examine le raisonnement adaptatif des agents et leur performance dans des environnements dynamiques. De plus, nous fournissons des analyses approfondies des modes d'échec et des pièges de performance des agents dans des tâches orientées vers l'avenir, y compris la vulnérabilité aux pages web falsifiées et la validité temporelle. Notre objectif est d'établir une norme d'évaluation dynamique et exempte de contamination qui favorise le développement d'agents LLM capables de performer au niveau des analystes humains professionnels dans le raisonnement complexe et la pensée prédictive.

English

Future prediction is a complex task for LLM agents, requiring a high level of analytical thinking, information gathering, contextual understanding, and decision-making under uncertainty. Agents must not only gather and interpret vast amounts of dynamic information but also integrate diverse data sources, weigh uncertainties, and adapt predictions based on emerging trends, just as human experts do in fields like politics, economics, and finance. Despite its importance, no large-scale benchmark exists for evaluating agents on future prediction, largely due to challenges in handling real-time updates and retrieving timely, accurate answers. To address this, we introduce FutureX, a dynamic and live evaluation benchmark specifically designed for LLM agents performing future prediction tasks. FutureX is the largest and most diverse live benchmark for future prediction, supporting real-time daily updates and eliminating data contamination through an automated pipeline for question gathering and answer collection. We evaluate 25 LLM/agent models, including those with reasoning, search capabilities, and integration of external tools such as the open-source Deep Research Agent and closed-source Deep Research models. This comprehensive evaluation assesses agents' adaptive reasoning and performance in dynamic environments. Additionally, we provide in-depth analyses of agents' failure modes and performance pitfalls in future-oriented tasks, including the vulnerability to fake web pages and the temporal validity. Our goal is to establish a dynamic, contamination-free evaluation standard that drives the development of LLM agents capable of performing at the level of professional human analysts in complex reasoning and predictive thinking.