FutureX：未来予測におけるLLMエージェントのための高度なライブベンチマーク

FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

August 16, 2025

著者: Zhiyuan Zeng, Jiashuo Liu, Siyuan Chen, Tianci He, Yali Liao, Jinpeng Wang, Zaiyuan Wang, Yang Yang, Lingyue Yin, Mingren Yin, Zhenwei Zhu, Tianle Cai, Zehui Chen, Jiecao Chen, Yantao Du, Xiang Gao, Jiacheng Guo, Liang Hu, Jianpeng Jiao, Xiangsheng Li, Jingkai Liu, Shuang Ni, Zhoufutu Wen, Ge Zhang, Kaiyuan Zhang, Xin Zhou, Jose Blanchet, Xipeng Qiu, Mengdi Wang, Wenhao Huang

cs.AI

要旨

将来予測は、LLMエージェントにとって高度な分析的思考、情報収集、文脈理解、不確実性下での意思決定を必要とする複雑なタスクである。エージェントは、膨大な量の動的な情報を収集し解釈するだけでなく、多様なデータソースを統合し、不確実性を考慮し、新たなトレンドに基づいて予測を適応させることが求められる。これは、政治、経済、金融などの分野で人間の専門家が行うのと同様である。その重要性にもかかわらず、将来予測におけるエージェントの評価のための大規模なベンチマークは存在しない。これは主に、リアルタイムの更新を処理し、タイムリーで正確な回答を取得する際の課題によるものである。この問題に対処するため、我々はFutureXを導入する。FutureXは、将来予測タスクを実行するLLMエージェントのために特別に設計された動的かつライブな評価ベンチマークである。FutureXは、将来予測において最大かつ最も多様なライブベンチマークであり、リアルタイムの日次更新をサポートし、質問収集と回答収集の自動化パイプラインを通じてデータ汚染を排除する。我々は、推論能力や検索能力、外部ツールの統合を備えたオープンソースのDeep Research AgentやクローズドソースのDeep Researchモデルを含む25のLLM/エージェントモデルを評価する。この包括的な評価は、エージェントの動的環境における適応的推論とパフォーマンスを評価するものである。さらに、我々は、将来指向のタスクにおけるエージェントの失敗モードとパフォーマンスの落とし穴について詳細な分析を提供する。これには、偽のウェブページに対する脆弱性や時間的有効性が含まれる。我々の目標は、複雑な推論と予測的思考において、プロの人間のアナリストと同等のレベルで実行可能なLLMエージェントの開発を促進する、動的で汚染のない評価基準を確立することである。

English

Future prediction is a complex task for LLM agents, requiring a high level of analytical thinking, information gathering, contextual understanding, and decision-making under uncertainty. Agents must not only gather and interpret vast amounts of dynamic information but also integrate diverse data sources, weigh uncertainties, and adapt predictions based on emerging trends, just as human experts do in fields like politics, economics, and finance. Despite its importance, no large-scale benchmark exists for evaluating agents on future prediction, largely due to challenges in handling real-time updates and retrieving timely, accurate answers. To address this, we introduce FutureX, a dynamic and live evaluation benchmark specifically designed for LLM agents performing future prediction tasks. FutureX is the largest and most diverse live benchmark for future prediction, supporting real-time daily updates and eliminating data contamination through an automated pipeline for question gathering and answer collection. We evaluate 25 LLM/agent models, including those with reasoning, search capabilities, and integration of external tools such as the open-source Deep Research Agent and closed-source Deep Research models. This comprehensive evaluation assesses agents' adaptive reasoning and performance in dynamic environments. Additionally, we provide in-depth analyses of agents' failure modes and performance pitfalls in future-oriented tasks, including the vulnerability to fake web pages and the temporal validity. Our goal is to establish a dynamic, contamination-free evaluation standard that drives the development of LLM agents capable of performing at the level of professional human analysts in complex reasoning and predictive thinking.