BERTología de la Predicción de Propiedades Moleculares
BERTology of Molecular Property Prediction
March 13, 2026
Autores: Mohammad Mostafanejad, Paul Saxe, T. Daniel Crawford
cs.AI
Resumen
Los modelos de lenguaje químico (CLM) han surgido como competidores prometedores frente a los modelos clásicos de aprendizaje automático más populares para las tareas de predicción de propiedades moleculares (MPP). Sin embargo, un número creciente de estudios ha reportado resultados inconsistentes y contradictorios respecto al rendimiento de los CLM en diversas tareas de evaluación comparativa de MPP. En este estudio, realizamos y analizamos cientos de experimentos meticulosamente controlados para investigar sistemáticamente los efectos de varios factores, como el tamaño del conjunto de datos, el tamaño del modelo y la estandarización, en el rendimiento del pre-entrenamiento y el ajuste fino de los CLM para MPP. Ante la ausencia de leyes de escalabilidad bien establecidas para modelos de lenguaje enmascarado de solo codificación, nuestro objetivo es aportar evidencia numérica exhaustiva y una comprensión más profunda de los mecanismos subyacentes que afectan al rendimiento de los CLM en tareas de MPP, algunos de los cuales parecen estar completamente pasados por alto en la literatura.
English
Chemical language models (CLMs) have emerged as promising competitors to popular classical machine learning models for molecular property prediction (MPP) tasks. However, an increasing number of studies have reported inconsistent and contradictory results for the performance of CLMs across various MPP benchmark tasks. In this study, we conduct and analyze hundreds of meticulously controlled experiments to systematically investigate the effects of various factors, such as dataset size, model size, and standardization, on the pre-training and fine-tuning performance of CLMs for MPP. In the absence of well-established scaling laws for encoder-only masked language models, our aim is to provide comprehensive numerical evidence and a deeper understanding of the underlying mechanisms affecting the performance of CLMs for MPP tasks, some of which appear to be entirely overlooked in the literature.