FutureX: Продвинутый живой бенчмарк для агентов на основе языковых моделей в прогнозировании будущего

Аннотация

Прогнозирование будущего является сложной задачей для агентов на основе больших языковых моделей (LLM), требующей высокого уровня аналитического мышления, сбора информации, понимания контекста и принятия решений в условиях неопределенности. Агенты должны не только собирать и интерпретировать огромные объемы динамической информации, но также интегрировать данные из различных источников, учитывать неопределенности и адаптировать прогнозы на основе возникающих трендов, подобно тому, как это делают эксперты в таких областях, как политика, экономика и финансы. Несмотря на важность этой задачи, до сих пор не существует крупномасштабного бенчмарка для оценки агентов в области прогнозирования будущего, что во многом связано с трудностями обработки обновлений в реальном времени и получения своевременных и точных ответов. Для решения этой проблемы мы представляем FutureX — динамический и актуальный бенчмарк, специально разработанный для оценки агентов LLM, выполняющих задачи прогнозирования будущего. FutureX является крупнейшим и наиболее разнообразным актуальным бенчмарком для прогнозирования, поддерживающим ежедневные обновления в реальном времени и исключающим загрязнение данных благодаря автоматизированному процессу сбора вопросов и ответов. Мы оцениваем 25 моделей LLM/агентов, включая те, которые обладают способностями к рассуждению, поиску и интеграции внешних инструментов, таких как открытый Deep Research Agent и закрытые модели Deep Research. Это всестороннее оценивание позволяет оценить адаптивное мышление и производительность агентов в динамичных условиях. Кроме того, мы предоставляем глубокий анализ ошибок и слабых мест агентов в задачах, ориентированных на будущее, включая уязвимость к фальшивым веб-страницам и временную валидность. Наша цель — установить динамичный, свободный от загрязнения стандарт оценки, который будет способствовать развитию агентов LLM, способных работать на уровне профессиональных человеческих аналитиков в сложных задачах рассуждения и прогнозирования.

English

Future prediction is a complex task for LLM agents, requiring a high level of analytical thinking, information gathering, contextual understanding, and decision-making under uncertainty. Agents must not only gather and interpret vast amounts of dynamic information but also integrate diverse data sources, weigh uncertainties, and adapt predictions based on emerging trends, just as human experts do in fields like politics, economics, and finance. Despite its importance, no large-scale benchmark exists for evaluating agents on future prediction, largely due to challenges in handling real-time updates and retrieving timely, accurate answers. To address this, we introduce FutureX, a dynamic and live evaluation benchmark specifically designed for LLM agents performing future prediction tasks. FutureX is the largest and most diverse live benchmark for future prediction, supporting real-time daily updates and eliminating data contamination through an automated pipeline for question gathering and answer collection. We evaluate 25 LLM/agent models, including those with reasoning, search capabilities, and integration of external tools such as the open-source Deep Research Agent and closed-source Deep Research models. This comprehensive evaluation assesses agents' adaptive reasoning and performance in dynamic environments. Additionally, we provide in-depth analyses of agents' failure modes and performance pitfalls in future-oriented tasks, including the vulnerability to fake web pages and the temporal validity. Our goal is to establish a dynamic, contamination-free evaluation standard that drives the development of LLM agents capable of performing at the level of professional human analysts in complex reasoning and predictive thinking.

FutureX: Продвинутый живой бенчмарк для агентов на основе языковых моделей в прогнозировании будущего

FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

Аннотация

Support