BERTologia da Predição de Propriedades Moleculares
BERTology of Molecular Property Prediction
March 13, 2026
Autores: Mohammad Mostafanejad, Paul Saxe, T. Daniel Crawford
cs.AI
Resumo
Os modelos de linguagem química (CLMs) emergiram como concorrentes promissores aos populares modelos clássicos de aprendizagem de máquina para tarefas de predição de propriedades moleculares (MPP). No entanto, um número crescente de estudos tem relatado resultados inconsistentes e contraditórios sobre o desempenho dos CLMs em várias tarefas de benchmark de MPP. Neste estudo, conduzimos e analisamos centenas de experimentos meticulosamente controlados para investigar sistematicamente os efeitos de vários fatores, como tamanho do conjunto de dados, tamanho do modelo e padronização, no desempenho de pré-treinamento e ajuste fino dos CLMs para MPP. Na ausência de leis de escala bem estabelecidas para modelos de linguagem mascarada com apenas codificador, nosso objetivo é fornecer evidências numéricas abrangentes e uma compreensão mais profunda dos mecanismos subjacentes que afetam o desempenho dos CLMs em tarefas de MPP, alguns dos quais parecem ser completamente negligenciados na literatura.
English
Chemical language models (CLMs) have emerged as promising competitors to popular classical machine learning models for molecular property prediction (MPP) tasks. However, an increasing number of studies have reported inconsistent and contradictory results for the performance of CLMs across various MPP benchmark tasks. In this study, we conduct and analyze hundreds of meticulously controlled experiments to systematically investigate the effects of various factors, such as dataset size, model size, and standardization, on the pre-training and fine-tuning performance of CLMs for MPP. In the absence of well-established scaling laws for encoder-only masked language models, our aim is to provide comprehensive numerical evidence and a deeper understanding of the underlying mechanisms affecting the performance of CLMs for MPP tasks, some of which appear to be entirely overlooked in the literature.