FutureX: Un Punto de Referencia Avanzado en Tiempo Real para Agentes de Modelos de Lenguaje en la Predicción del Futuro

FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

August 16, 2025

Autores: Zhiyuan Zeng, Jiashuo Liu, Siyuan Chen, Tianci He, Yali Liao, Jinpeng Wang, Zaiyuan Wang, Yang Yang, Lingyue Yin, Mingren Yin, Zhenwei Zhu, Tianle Cai, Zehui Chen, Jiecao Chen, Yantao Du, Xiang Gao, Jiacheng Guo, Liang Hu, Jianpeng Jiao, Xiangsheng Li, Jingkai Liu, Shuang Ni, Zhoufutu Wen, Ge Zhang, Kaiyuan Zhang, Xin Zhou, Jose Blanchet, Xipeng Qiu, Mengdi Wang, Wenhao Huang

cs.AI

Resumen

La predicción del futuro es una tarea compleja para los agentes de LLM, que requiere un alto nivel de pensamiento analítico, recopilación de información, comprensión contextual y toma de decisiones bajo incertidumbre. Los agentes no solo deben recopilar e interpretar grandes cantidades de información dinámica, sino también integrar diversas fuentes de datos, sopesar incertidumbres y adaptar las predicciones en función de tendencias emergentes, tal como lo hacen expertos humanos en campos como la política, la economía y las finanzas. A pesar de su importancia, no existe un punto de referencia a gran escala para evaluar a los agentes en la predicción del futuro, en gran parte debido a los desafíos en el manejo de actualizaciones en tiempo real y la obtención de respuestas oportunas y precisas. Para abordar esto, presentamos FutureX, un punto de referencia de evaluación dinámico y en vivo diseñado específicamente para agentes de LLM que realizan tareas de predicción del futuro. FutureX es el punto de referencia en vivo más grande y diverso para la predicción del futuro, que admite actualizaciones diarias en tiempo real y elimina la contaminación de datos mediante una canalización automatizada para la recopilación de preguntas y respuestas. Evaluamos 25 modelos de LLM/agentes, incluidos aquellos con capacidades de razonamiento, búsqueda e integración de herramientas externas, como el agente de investigación profunda de código abierto y los modelos de investigación profunda de código cerrado. Esta evaluación integral analiza el razonamiento adaptativo y el rendimiento de los agentes en entornos dinámicos. Además, proporcionamos análisis detallados de los modos de falla y los puntos débiles en el rendimiento de los agentes en tareas orientadas al futuro, incluyendo la vulnerabilidad a páginas web falsas y la validez temporal. Nuestro objetivo es establecer un estándar de evaluación dinámico y libre de contaminación que impulse el desarrollo de agentes de LLM capaces de desempeñarse al nivel de analistas humanos profesionales en razonamiento complejo y pensamiento predictivo.

English

Future prediction is a complex task for LLM agents, requiring a high level of analytical thinking, information gathering, contextual understanding, and decision-making under uncertainty. Agents must not only gather and interpret vast amounts of dynamic information but also integrate diverse data sources, weigh uncertainties, and adapt predictions based on emerging trends, just as human experts do in fields like politics, economics, and finance. Despite its importance, no large-scale benchmark exists for evaluating agents on future prediction, largely due to challenges in handling real-time updates and retrieving timely, accurate answers. To address this, we introduce FutureX, a dynamic and live evaluation benchmark specifically designed for LLM agents performing future prediction tasks. FutureX is the largest and most diverse live benchmark for future prediction, supporting real-time daily updates and eliminating data contamination through an automated pipeline for question gathering and answer collection. We evaluate 25 LLM/agent models, including those with reasoning, search capabilities, and integration of external tools such as the open-source Deep Research Agent and closed-source Deep Research models. This comprehensive evaluation assesses agents' adaptive reasoning and performance in dynamic environments. Additionally, we provide in-depth analyses of agents' failure modes and performance pitfalls in future-oriented tasks, including the vulnerability to fake web pages and the temporal validity. Our goal is to establish a dynamic, contamination-free evaluation standard that drives the development of LLM agents capable of performing at the level of professional human analysts in complex reasoning and predictive thinking.