FutureX: Um Benchmark Avançado em Tempo Real para Agentes de LLM em Previsão do Futuro

FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

August 16, 2025

Autores: Zhiyuan Zeng, Jiashuo Liu, Siyuan Chen, Tianci He, Yali Liao, Jinpeng Wang, Zaiyuan Wang, Yang Yang, Lingyue Yin, Mingren Yin, Zhenwei Zhu, Tianle Cai, Zehui Chen, Jiecao Chen, Yantao Du, Xiang Gao, Jiacheng Guo, Liang Hu, Jianpeng Jiao, Xiangsheng Li, Jingkai Liu, Shuang Ni, Zhoufutu Wen, Ge Zhang, Kaiyuan Zhang, Xin Zhou, Jose Blanchet, Xipeng Qiu, Mengdi Wang, Wenhao Huang

cs.AI

Resumo

A previsão do futuro é uma tarefa complexa para agentes de LLM, exigindo um alto nível de pensamento analítico, coleta de informações, compreensão contextual e tomada de decisões sob incerteza. Os agentes não apenas precisam coletar e interpretar grandes quantidades de informações dinâmicas, mas também integrar diversas fontes de dados, ponderar incertezas e adaptar previsões com base em tendências emergentes, assim como especialistas humanos fazem em áreas como política, economia e finanças. Apesar de sua importância, não existe um benchmark em grande escala para avaliar agentes em previsões futuras, principalmente devido aos desafios de lidar com atualizações em tempo real e recuperar respostas precisas e oportunas. Para resolver isso, apresentamos o FutureX, um benchmark dinâmico e em tempo real projetado especificamente para agentes de LLM que realizam tarefas de previsão do futuro. O FutureX é o maior e mais diversificado benchmark em tempo real para previsão do futuro, suportando atualizações diárias em tempo real e eliminando a contaminação de dados por meio de um pipeline automatizado para coleta de perguntas e respostas. Avaliamos 25 modelos de LLM/agentes, incluindo aqueles com capacidades de raciocínio, busca e integração de ferramentas externas, como o agente de pesquisa profunda de código aberto e os modelos de pesquisa profunda de código fechado. Esta avaliação abrangente examina o raciocínio adaptativo e o desempenho dos agentes em ambientes dinâmicos. Além disso, fornecemos análises detalhadas dos modos de falha e dos pontos fracos de desempenho dos agentes em tarefas orientadas para o futuro, incluindo a vulnerabilidade a páginas da web falsas e a validade temporal. Nosso objetivo é estabelecer um padrão de avaliação dinâmico e livre de contaminação que impulsione o desenvolvimento de agentes de LLM capazes de desempenhar no nível de analistas humanos profissionais em raciocínio complexo e pensamento preditivo.

English

Future prediction is a complex task for LLM agents, requiring a high level of analytical thinking, information gathering, contextual understanding, and decision-making under uncertainty. Agents must not only gather and interpret vast amounts of dynamic information but also integrate diverse data sources, weigh uncertainties, and adapt predictions based on emerging trends, just as human experts do in fields like politics, economics, and finance. Despite its importance, no large-scale benchmark exists for evaluating agents on future prediction, largely due to challenges in handling real-time updates and retrieving timely, accurate answers. To address this, we introduce FutureX, a dynamic and live evaluation benchmark specifically designed for LLM agents performing future prediction tasks. FutureX is the largest and most diverse live benchmark for future prediction, supporting real-time daily updates and eliminating data contamination through an automated pipeline for question gathering and answer collection. We evaluate 25 LLM/agent models, including those with reasoning, search capabilities, and integration of external tools such as the open-source Deep Research Agent and closed-source Deep Research models. This comprehensive evaluation assesses agents' adaptive reasoning and performance in dynamic environments. Additionally, we provide in-depth analyses of agents' failure modes and performance pitfalls in future-oriented tasks, including the vulnerability to fake web pages and the temporal validity. Our goal is to establish a dynamic, contamination-free evaluation standard that drives the development of LLM agents capable of performing at the level of professional human analysts in complex reasoning and predictive thinking.