De lo macro a lo micro: Evaluación de la inteligencia espacial microscópica en moléculas mediante modelos de visión y lenguaje
From Macro to Micro: Benchmarking Microscopic Spatial Intelligence on Molecules via Vision-Language Models
December 11, 2025
Autores: Zongzhao Li, Xiangzhe Kong, Jiahui Su, Zongyang Ma, Mingze Li, Songyou Li, Yuelin Zhang, Yu Rong, Tingyang Xu, Deli Zhao, Wenbing Huang
cs.AI
Resumen
Este artículo introduce el concepto de Inteligencia Espacial Microscópica (MiSI), la capacidad de percibir y razonar sobre las relaciones espaciales de entidades microscópicas invisibles, fundamental para el descubrimiento científico. Para evaluar el potencial de los Modelos de Visión y Lenguaje (VLMs) en este ámbito, proponemos un marco de evaluación sistemático denominado MiSI-Bench. Este marco incluye más de 163,000 pares de preguntas-respuestas y 587,000 imágenes derivadas de aproximadamente 4,000 estructuras moleculares, abarcando nueve tareas complementarias que evalúan habilidades que van desde transformaciones espaciales elementales hasta identificaciones relacionales complejas. Los resultados experimentales revelan que los VLMs más avanzados actuales tienen un rendimiento significativamente inferior al nivel humano en esta evaluación. Sin embargo, un modelo de 7B ajustado demuestra un potencial considerable, incluso superando a humanos en tareas de transformación espacial, mientras que su bajo rendimiento en tareas con base científica, como el reconocimiento de enlaces de hidrógeno, subraya la necesidad de integrar conocimiento de dominio explícito para avanzar hacia una AGI científica. Los conjuntos de datos están disponibles en https://huggingface.co/datasets/zongzhao/MiSI-bench.
English
This paper introduces the concept of Microscopic Spatial Intelligence (MiSI), the capability to perceive and reason about the spatial relationships of invisible microscopic entities, which is fundamental to scientific discovery. To assess the potential of Vision-Language Models (VLMs) in this domain, we propose a systematic benchmark framework MiSI-Bench. This framework features over 163,000 question-answer pairs and 587,000 images derived from approximately 4,000 molecular structures, covering nine complementary tasks that evaluate abilities ranging from elementary spatial transformations to complex relational identifications. Experimental results reveal that current state-of-the-art VLMs perform significantly below human level on this benchmark. However, a fine-tuned 7B model demonstrates substantial potential, even surpassing humans in spatial transformation tasks, while its poor performance in scientifically-grounded tasks like hydrogen bond recognition underscores the necessity of integrating explicit domain knowledge for progress toward scientific AGI. The datasets are available at https://huggingface.co/datasets/zongzhao/MiSI-bench.