Time-R1: К всестороннему временному рассуждению в больших языковых моделях

Time-R1: Towards Comprehensive Temporal Reasoning in LLMs

May 16, 2025

Авторы: Zijia Liu, Peixuan Han, Haofei Yu, Haoru Li, Jiaxuan You

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют впечатляющие возможности, но им не хватает устойчивого временного интеллекта, что затрудняет интеграцию рассуждений о прошлом с прогнозами и правдоподобным моделированием будущего. В то же время существующие методы обычно сосредоточены на изолированных временных навыках, таких как ответы на вопросы о прошлых событиях или базовое прогнозирование, и демонстрируют слабую обобщаемость, особенно при работе с событиями, выходящими за пределы их временного охвата или требующими творческого предвидения. Чтобы устранить эти ограничения, мы представляем Time-R1 — первую структуру, которая наделяет LLM среднего размера (3 миллиарда параметров) всесторонними временными способностями: пониманием, прогнозированием и творческим моделированием. Наш подход включает новый трехэтапный путь развития; первые два этапа представляют собой учебный план с подкреплением (RL), основанный на тщательно разработанной динамической системе вознаграждений на основе правил. Эта структура последовательно развивает (1) базовое временное понимание и логические связи между событиями и временем на основе исторических данных, (2) навыки прогнозирования будущих событий, выходящих за пределы временного охвата модели, и, наконец, (3) обеспечивает выдающуюся обобщаемость для творческого моделирования будущих сценариев без дополнительной тонкой настройки. Примечательно, что эксперименты показывают, что Time-R1 превосходит модели, более чем в 200 раз крупнее, включая передовую модель DeepSeek-R1 с 671 миллиардами параметров, на сложных тестах по прогнозированию будущих событий и творческому моделированию сценариев. Эта работа предоставляет убедительные доказательства того, что тщательно спроектированная, прогрессивная тонкая настройка с подкреплением позволяет более компактным и эффективным моделям достигать превосходных временных характеристик, предлагая практичный и масштабируемый путь к созданию действительно осведомленного о времени ИИ. Для стимулирования дальнейших исследований мы также публикуем Time-Bench — крупномасштабный многозадачный набор данных для временного рассуждения, созданный на основе 10-летних новостных данных, и серию контрольных точек Time-R1.

English

Large Language Models (LLMs) demonstrate impressive capabilities but lack robust temporal intelligence, struggling to integrate reasoning about the past with predictions and plausible generations of the future. Meanwhile, existing methods typically target isolated temporal skills, such as question answering about past events or basic forecasting, and exhibit poor generalization, particularly when dealing with events beyond their knowledge cutoff or requiring creative foresight. To address these limitations, we introduce Time-R1, the first framework to endow a moderate-sized (3B-parameter) LLM with comprehensive temporal abilities: understanding, prediction, and creative generation. Our approach features a novel three-stage development path; the first two constitute a reinforcement learning (RL) curriculum driven by a meticulously designed dynamic rule-based reward system. This framework progressively builds (1) foundational temporal understanding and logical event-time mappings from historical data, (2) future event prediction skills for events beyond its knowledge cutoff, and finally (3) enables remarkable generalization to creative future scenario generation without any fine-tuning. Strikingly, experiments demonstrate that Time-R1 outperforms models over 200 times larger, including the state-of-the-art 671B DeepSeek-R1, on highly challenging future event prediction and creative scenario generation benchmarks. This work provides strong evidence that thoughtfully engineered, progressive RL fine-tuning allows smaller, efficient models to achieve superior temporal performance, offering a practical and scalable path towards truly time-aware AI. To foster further research, we also release Time-Bench, a large-scale multi-task temporal reasoning dataset derived from 10 years of news data, and our series of Time-R1 checkpoints.