Исследование научного общего интеллекта больших языковых моделей с помощью рабочих процессов, согласованных с деятельностью ученых
Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows
December 18, 2025
Авторы: Wanghan Xu, Yuhao Zhou, Yifan Zhou, Qinglong Cao, Shuo Li, Jia Bu, Bo Liu, Yixin Chen, Xuming He, Xiangyu Zhao, Xiang Zhuang, Fengxiang Wang, Zhiwang Zhou, Qiantai Feng, Wenxuan Huang, Jiaqi Wei, Hao Wu, Yuejin Yang, Guangshuai Wang, Sheng Xu, Ziyan Huang, Xinyao Liu, Jiyao Liu, Cheng Tang, Wei Li, Ying Chen, Junzhi Ning, Pengfei Jiang, Chenglong Ma, Ye Du, Changkai Ji, Huihui Xu, Ming Hu, Jiangbin Zheng, Xin Chen, Yucheng Wu, Feifei Jiang, Xi Chen, Xiangru Tang, Yuchen Fu, Yingzhou Lu, Yuanyuan Zhang, Lihao Sun, Chengbo Li, Jinzhe Ma, Wanhao Liu, Yating Liu, Kuo-Cheng Wu, Shengdu Chai, Yizhou Wang, Ouwen Zhangjin, Chen Tang, Shufei Zhang, Wenbo Cao, Junjie Ren, Taoyong Cui, Zhouheng Yao, Juntao Deng, Yijie Sun, Feng Liu, Wangxu Wei, Jingyi Xu, Zhangrui Li, Junchao Gong, Zijie Guo, Zhiyu Yao, Zaoyu Chen, Tianhao Peng, Fangchen Yu, Bo Zhang, Dongzhan Zhou, Shixiang Tang, Jiaheng Liu, Fenghua Ling, Yan Lu, Yuchen Ren, Ben Fei, Zhen Zhao, Xinyu Gu, Rui Su, Xiao-Ming Wu, Weikang Si, Yang Liu, Hao Chen, Xiangchao Yan, Xue Yang, Junchi Yan, Jiamin Wu, Qihao Zheng, Chenhui Li, Zhiqiang Gao, Hao Kong, Junjun He, Mao Su, Tianfan Fu, Peng Ye, Chunfeng Song, Nanqing Dong, Yuqiang Li, Huazhu Fu, Siqi Sun, Lijing Cheng, Jintai Lin, Wanli Ouyang, Bowen Zhou, Wenlong Zhang, Lei Bai
cs.AI
Аннотация
Несмотря на прогресс в области научного ИИ, целостная концепция Научного Общего Интеллекта (НОИ) — способности автономно формулировать идеи, исследовать и рассуждать в различных научных областях — до сих пор отсутствует. Мы предлагаем рабочее определение НОИ, основанное на Модели Практического Исследования (МПИ: Обдумывание, Концептуализация, Действие, Восприятие), и операционализируем его с помощью четырех задач, соответствующих деятельности ученого: углубленное исследование, генерация идей, сухие/мокрые эксперименты и экспериментальные рассуждения. SGI-Bench включает более 1000 экспертно отобранных междисциплинарных примеров, вдохновленных 125 Великими Вопросами науки, что позволяет проводить систематическую оценку современных больших языковых моделей. Результаты выявляют пробелы: низкое точное соответствие (10–20%) в углубленных исследованиях, несмотря на соответствие на уровне шагов; идеи, которым не хватает осуществимости и детализации; высокая исполнимость кода, но низкая точность результатов выполнения в сухих экспериментах; низкая точность последовательностей в протоколах мокрых экспериментов; и сохраняющиеся проблемы мультимодального сравнительного рассуждения. Мы также представляем Обучение с Подкреплением на Этапе Тестирования (ОПЭТ), которое оптимизирует retrieval-усиленные показатели новизны на этапе вывода, повышая новизну гипотез без использования эталонных ответов. Вместе наше основанное на МПИ определение, ориентированный на рабочие процессы бенчмарк и эмпирические выводы закладывают основу для систем ИИ, способных к подлинному участию в научном открытии.
English
Despite advances in scientific AI, a coherent framework for Scientific General Intelligence (SGI)-the ability to autonomously conceive, investigate, and reason across scientific domains-remains lacking. We present an operational SGI definition grounded in the Practical Inquiry Model (PIM: Deliberation, Conception, Action, Perception) and operationalize it via four scientist-aligned tasks: deep research, idea generation, dry/wet experiments, and experimental reasoning. SGI-Bench comprises over 1,000 expert-curated, cross-disciplinary samples inspired by Science's 125 Big Questions, enabling systematic evaluation of state-of-the-art LLMs. Results reveal gaps: low exact match (10--20%) in deep research despite step-level alignment; ideas lacking feasibility and detail; high code executability but low execution result accuracy in dry experiments; low sequence fidelity in wet protocols; and persistent multimodal comparative-reasoning challenges. We further introduce Test-Time Reinforcement Learning (TTRL), which optimizes retrieval-augmented novelty rewards at inference, enhancing hypothesis novelty without reference answer. Together, our PIM-grounded definition, workflow-centric benchmark, and empirical insights establish a foundation for AI systems that genuinely participate in scientific discovery.