FutureX: Ein fortschrittlicher Live-Benchmark für LLM-Agenten in der Zukunftsprognose

FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

August 16, 2025

papers.authors: Zhiyuan Zeng, Jiashuo Liu, Siyuan Chen, Tianci He, Yali Liao, Jinpeng Wang, Zaiyuan Wang, Yang Yang, Lingyue Yin, Mingren Yin, Zhenwei Zhu, Tianle Cai, Zehui Chen, Jiecao Chen, Yantao Du, Xiang Gao, Jiacheng Guo, Liang Hu, Jianpeng Jiao, Xiangsheng Li, Jingkai Liu, Shuang Ni, Zhoufutu Wen, Ge Zhang, Kaiyuan Zhang, Xin Zhou, Jose Blanchet, Xipeng Qiu, Mengdi Wang, Wenhao Huang

cs.AI

papers.abstract

Zukunftsprognosen sind eine komplexe Aufgabe für LLM-Agenten, die ein hohes Maß an analytischem Denken, Informationsbeschaffung, kontextuellem Verständnis und Entscheidungsfindung unter Unsicherheit erfordert. Agenten müssen nicht nur große Mengen dynamischer Informationen sammeln und interpretieren, sondern auch diverse Datenquellen integrieren, Unsicherheiten abwägen und Prognosen basierend auf sich entwickelnden Trends anpassen, ähnlich wie menschliche Experten in Bereichen wie Politik, Wirtschaft und Finanzen. Trotz ihrer Bedeutung existiert kein groß angelegter Benchmark zur Bewertung von Agenten in Bezug auf Zukunftsprognosen, was größtenteils auf die Herausforderungen bei der Handhabung von Echtzeit-Updates und der Beschaffung zeitnaher, genauer Antworten zurückzuführen ist. Um dies zu adressieren, führen wir FutureX ein, einen dynamischen und live-Evaluationsbenchmark, der speziell für LLM-Agenten entwickelt wurde, die Zukunftsprognoseaufgaben durchführen. FutureX ist der größte und vielfältigste Live-Benchmark für Zukunftsprognosen, der tägliche Echtzeit-Updates unterstützt und Datenkontamination durch einen automatisierten Prozess für die Fragensammlung und Antwortbeschaffung eliminiert. Wir evaluieren 25 LLM/Agenten-Modelle, einschließlich solcher mit Fähigkeiten zum logischen Schlussfolgern, zur Informationssuche und zur Integration externer Tools wie dem Open-Source-Modell Deep Research Agent und den Closed-Source-Modellen Deep Research. Diese umfassende Bewertung beurteilt die adaptive Argumentationsfähigkeit und Leistung der Agenten in dynamischen Umgebungen. Zusätzlich bieten wir detaillierte Analysen der Fehlermodi und Leistungsschwächen der Agenten in zukunftsorientierten Aufgaben, einschließlich der Anfälligkeit für gefälschte Webseiten und der zeitlichen Gültigkeit. Unser Ziel ist es, einen dynamischen, kontaminationsfreien Bewertungsstandard zu etablieren, der die Entwicklung von LLM-Agenten vorantreibt, die in der Lage sind, auf dem Niveau professioneller menschlicher Analysten in komplexem Denken und vorausschauendem Denken zu agieren.

English

Future prediction is a complex task for LLM agents, requiring a high level of analytical thinking, information gathering, contextual understanding, and decision-making under uncertainty. Agents must not only gather and interpret vast amounts of dynamic information but also integrate diverse data sources, weigh uncertainties, and adapt predictions based on emerging trends, just as human experts do in fields like politics, economics, and finance. Despite its importance, no large-scale benchmark exists for evaluating agents on future prediction, largely due to challenges in handling real-time updates and retrieving timely, accurate answers. To address this, we introduce FutureX, a dynamic and live evaluation benchmark specifically designed for LLM agents performing future prediction tasks. FutureX is the largest and most diverse live benchmark for future prediction, supporting real-time daily updates and eliminating data contamination through an automated pipeline for question gathering and answer collection. We evaluate 25 LLM/agent models, including those with reasoning, search capabilities, and integration of external tools such as the open-source Deep Research Agent and closed-source Deep Research models. This comprehensive evaluation assesses agents' adaptive reasoning and performance in dynamic environments. Additionally, we provide in-depth analyses of agents' failure modes and performance pitfalls in future-oriented tasks, including the vulnerability to fake web pages and the temporal validity. Our goal is to establish a dynamic, contamination-free evaluation standard that drives the development of LLM agents capable of performing at the level of professional human analysts in complex reasoning and predictive thinking.