ForeSci: Оценка LLM-агентов на способность к прогностическому суждению в исследованиях ИИ

Аннотация

Исследования в области ИИ часто требуют принятия решений до появления будущих свидетельств: какое узкое место атаковать, какое направление развивать или где следует позиционировать проект. Мы представляем ForeSci — временно контролируемый бенчмарк для оценки того, могут ли LLM-агенты делать такие прогнозирующие исследовательские суждения на основе исторических свидетельств. ForeSci содержит 500 заданий по четырём быстроразвивающимся областям ИИ и четырём семействам решений. Каждое задание снабжено офлайн-базой знаний, выровненной по точке отсечения; статьи, опубликованные после точки отсечения, скрыты во время генерации и используются только для валидации. Чтобы избежать случайного предсказания будущих событий, задания выводятся из таксономических ветвей и сигналов свидетельств, существовавших до точки отсечения, а базовые модели генерации ответов выбираются так, чтобы они предшествовали точкам отсечения заданий. Мы оцениваем нативные LLM, гибридный RAG и три адаптации исследовательских агентов на четырёх базовых моделях. Результаты показывают, что явная организация свидетельств улучшает отслеживаемость и фактическую поддержку, но выигрыш сильно зависит от семейства решений. Диагностика выявляет повторяющееся разобщение свидетельств и решений: агенты могут цитировать релевантные свидетельства, прогнозируя при этом неверный объект исследования. ForeSci превращает прогнозирующее исследовательское суждение в области ИИ в контролируемый бенчмарк для оценки исследовательских агентов как систем принятия решений.

English

AI research often requires decisions before future evidence exists: which bottleneck to attack, which direction to pursue, or where a project should be positioned. We introduce ForeSci, a temporally controlled benchmark for evaluating whether LLM agents can make such forward-looking research judgements from historical evidence. ForeSci contains 500 tasks across four fast-moving AI domains and four decision families. Each task is paired with a cutoff-aligned offline knowledge base; post-cutoff papers are hidden during generation and used only for validation. To avoid random future-event prediction, tasks are derived from pre-cutoff taxonomy branches and evidence signals, and answer-generation backbones are selected to precede the task cutoffs. We evaluate native LLMs, Hybrid RAG, and three research-agent adaptations across four backbones. Results show that explicit evidence organization improves traceability and factual support, but gains depend strongly on the decision family. Diagnostics reveal a recurring evidence-decision decoupling: agents may cite relevant evidence while forecasting the wrong research object. ForeSci turns forward-looking AI research judgement into a controlled benchmark for evaluating research agents as decision-making systems.