Von Makro zu Mikro: Benchmarking mikroskopischer räumlicher Intelligenz an Molekülen mittels Vision-Language-Modellen
From Macro to Micro: Benchmarking Microscopic Spatial Intelligence on Molecules via Vision-Language Models
December 11, 2025
papers.authors: Zongzhao Li, Xiangzhe Kong, Jiahui Su, Zongyang Ma, Mingze Li, Songyou Li, Yuelin Zhang, Yu Rong, Tingyang Xu, Deli Zhao, Wenbing Huang
cs.AI
papers.abstract
Dieses Papier führt das Konzept der Mikroskopischen Räumlichen Intelligenz (MiSI) ein – die Fähigkeit, räumliche Beziehungen unsichtbarer mikroskopischer Entitäten wahrzunehmen und darüber zu schlussfolgern, was grundlegend für wissenschaftliche Entdeckungen ist. Um das Potenzial von Vision-Language-Modellen (VLMs) in diesem Bereich zu bewerten, schlagen wir einen systematischen Benchmark-Rahmen namens MiSI-Bench vor. Dieser Rahmen umfasst über 163.000 Frage-Antwort-Paare und 587.000 Bilder, die aus etwa 4.000 Molekülstrukturen abgeleitet wurden, und deckt neun komplementäre Aufgaben ab, die Fähigkeiten von elementaren räumlichen Transformationen bis hin zu komplexen relationalen Identifikationen bewerten. Experimentelle Ergebnisse zeigen, dass aktuelle state-of-the-art VLMs in diesem Benchmark deutlich unter dem menschlichen Niveau abschneiden. Allerdings demonstriert ein feinabgestimmtes 7B-Modell erhebliches Potenzial, das in räumlichen Transformationsaufgaben sogar Menschen übertrifft, während seine schwache Leistung in wissenschaftlich fundierten Aufgaben wie der Wasserstoffbrückenerkennung die Notwendigkeit der Integration von explizitem Domänenwissen für Fortschritte in Richtung einer wissenschaftlichen AGI unterstreicht. Die Datensätze sind unter https://huggingface.co/datasets/zongzhao/MiSI-bench verfügbar.
English
This paper introduces the concept of Microscopic Spatial Intelligence (MiSI), the capability to perceive and reason about the spatial relationships of invisible microscopic entities, which is fundamental to scientific discovery. To assess the potential of Vision-Language Models (VLMs) in this domain, we propose a systematic benchmark framework MiSI-Bench. This framework features over 163,000 question-answer pairs and 587,000 images derived from approximately 4,000 molecular structures, covering nine complementary tasks that evaluate abilities ranging from elementary spatial transformations to complex relational identifications. Experimental results reveal that current state-of-the-art VLMs perform significantly below human level on this benchmark. However, a fine-tuned 7B model demonstrates substantial potential, even surpassing humans in spatial transformation tasks, while its poor performance in scientifically-grounded tasks like hydrogen bond recognition underscores the necessity of integrating explicit domain knowledge for progress toward scientific AGI. The datasets are available at https://huggingface.co/datasets/zongzhao/MiSI-bench.