Бертология предсказания молекулярных свойств
BERTology of Molecular Property Prediction
March 13, 2026
Авторы: Mohammad Mostafanejad, Paul Saxe, T. Daniel Crawford
cs.AI
Аннотация
Химические языковые модели (ХЯМ) зарекомендовали себя как перспективные конкуренты популярным классическим моделям машинного обучения для задач прогнозирования молекулярных свойств (ПМС). Однако все большее количество исследований сообщает о противоречивых и несогласованных результатах относительно производительности ХЯМ в различных бенчмарк-задачах ПМС. В данном исследовании мы проводим и анализируем сотни тщательно контролируемых экспериментов, чтобы систематически изучить влияние различных факторов, таких как объем набора данных, размер модели и стандартизация, на производительность ХЯМ на этапах предварительного обучения и тонкой настройки для задач ПМС. В условиях отсутствия устоявшихся законов масштабирования для кодировочных моделей с маскированием языка наша цель — предоставить всесторонние численные доказательства и более глубокое понимание механизмов, влияющих на производительность ХЯМ для задач ПМС, некоторые из которых, судя по всему, полностью игнорируются в литературе.
English
Chemical language models (CLMs) have emerged as promising competitors to popular classical machine learning models for molecular property prediction (MPP) tasks. However, an increasing number of studies have reported inconsistent and contradictory results for the performance of CLMs across various MPP benchmark tasks. In this study, we conduct and analyze hundreds of meticulously controlled experiments to systematically investigate the effects of various factors, such as dataset size, model size, and standardization, on the pre-training and fine-tuning performance of CLMs for MPP. In the absence of well-established scaling laws for encoder-only masked language models, our aim is to provide comprehensive numerical evidence and a deeper understanding of the underlying mechanisms affecting the performance of CLMs for MPP tasks, some of which appear to be entirely overlooked in the literature.