マクロからマイクロへ：分子における微視的空間知能のベンチマークをビジョン言語モデルで実証

要旨

本論文では、科学的発見の基盤となる、不可視の微視的実体の空間的関係を認識し推論する能力である「微視的空間知能（MiSI）」の概念を提案する。この領域における視覚言語モデル（VLM）の可能性を評価するため、体系的なベンチマークフレームワーク「MiSI-Bench」を構築した。本フレームワークは約4,000の分子構造から導出された16万3,000以上の質問応答ペアと58万7,000の画像を特徴とし、基礎的な空間変換から複雑な関係同定までを評価する9つの相補的タスクを網羅している。実験結果から、現状の最先端VLMはこのベンチマークにおいて人間の水準を大幅に下回ることが明らかになった。一方、ファインチューニングした70億パラメータモデルは、空間変換タスクでは人間を凌駕するなど大きな可能性を示したが、水素結合認識のような科学的根拠を要するタスクでの低性能は、科学的AGIに向けた進歩には明示的な領域知識の統合が不可欠であることを示唆している。データセットはhttps://huggingface.co/datasets/zongzhao/MiSI-bench で公開されている。

English

This paper introduces the concept of Microscopic Spatial Intelligence (MiSI), the capability to perceive and reason about the spatial relationships of invisible microscopic entities, which is fundamental to scientific discovery. To assess the potential of Vision-Language Models (VLMs) in this domain, we propose a systematic benchmark framework MiSI-Bench. This framework features over 163,000 question-answer pairs and 587,000 images derived from approximately 4,000 molecular structures, covering nine complementary tasks that evaluate abilities ranging from elementary spatial transformations to complex relational identifications. Experimental results reveal that current state-of-the-art VLMs perform significantly below human level on this benchmark. However, a fine-tuned 7B model demonstrates substantial potential, even surpassing humans in spatial transformation tasks, while its poor performance in scientifically-grounded tasks like hydrogen bond recognition underscores the necessity of integrating explicit domain knowledge for progress toward scientific AGI. The datasets are available at https://huggingface.co/datasets/zongzhao/MiSI-bench.

マクロからマイクロへ：分子における微視的空間知能のベンチマークをビジョン言語モデルで実証

From Macro to Micro: Benchmarking Microscopic Spatial Intelligence on Molecules via Vision-Language Models

要旨

Support