От макро к микро: тестирование микроскопической пространственной интеллектуальности молекул с помощью визуально-языковых моделей
From Macro to Micro: Benchmarking Microscopic Spatial Intelligence on Molecules via Vision-Language Models
December 11, 2025
Авторы: Zongzhao Li, Xiangzhe Kong, Jiahui Su, Zongyang Ma, Mingze Li, Songyou Li, Yuelin Zhang, Yu Rong, Tingyang Xu, Deli Zhao, Wenbing Huang
cs.AI
Аннотация
В данной статье вводится концепция Микроскопического Пространственного Интеллекта (MiSI) — способности воспринимать и анализировать пространственные взаимосвязи невидимых микроскопических объектов, что является основополагающим для научных открытий. Для оценки потенциала моделей "визуальный язык" (VLM) в этой области мы предлагаем систематический эталонный фреймворк MiSI-Bench. Данный фреймворк включает более 163 000 пар "вопрос-ответ" и 587 000 изображений, полученных из приблизительно 4000 молекулярных структур, и охватывает девять взаимодополняющих задач, оценивающих способности от элементарных пространственных преобразований до сложных реляционных идентификаций. Результаты экспериментов показывают, что современные передовые VLM-модели демонстрируют на этом эталоне результаты значительно ниже человеческого уровня. Однако дообученная 7B-модель показывает существенный потенциал, даже превосходя человека в задачах пространственного преобразования, в то время как её слабые результаты в научно-обоснованных задачах, таких как распознавание водородных связей, подчеркивают необходимость интеграции явных доменных знаний для прогресса в направлении научного ИИО. Наборы данных доступны по адресу https://huggingface.co/datasets/zongzhao/MiSI-bench.
English
This paper introduces the concept of Microscopic Spatial Intelligence (MiSI), the capability to perceive and reason about the spatial relationships of invisible microscopic entities, which is fundamental to scientific discovery. To assess the potential of Vision-Language Models (VLMs) in this domain, we propose a systematic benchmark framework MiSI-Bench. This framework features over 163,000 question-answer pairs and 587,000 images derived from approximately 4,000 molecular structures, covering nine complementary tasks that evaluate abilities ranging from elementary spatial transformations to complex relational identifications. Experimental results reveal that current state-of-the-art VLMs perform significantly below human level on this benchmark. However, a fine-tuned 7B model demonstrates substantial potential, even surpassing humans in spatial transformation tasks, while its poor performance in scientifically-grounded tasks like hydrogen bond recognition underscores the necessity of integrating explicit domain knowledge for progress toward scientific AGI. The datasets are available at https://huggingface.co/datasets/zongzhao/MiSI-bench.