Recozimento Escalável no Tempo de Inferência com Estimadores de Verossimilhança Substitutos

Resumo

Um desafio de longa data na química computacional e na biofísica é amostrar eficientemente a distribuição de Boltzmann das moléculas. Avanços em modelagem generativa foram propostos para superar as limitações das técnicas convencionais de amostragem, eliminando o custo computacional da simulação. Uma direção promissora é o refinamento iterativo de modelos de difusão ao longo de uma escada de temperatura, onde os dados de treinamento são gerados por meio de amostragem por importância durante o recozimento no momento da inferência. Infelizmente, esses métodos exigem o cálculo de uma divergência sobre o campo de score para estimar os pesos de importância, tornando-os intratáveis para sistemas maiores. Aqui apresentamos o recozimento escalável no momento da inferência (SITA), que retreina modelos baseados em fluxo para gerar amostras em temperaturas progressivamente mais baixas, usando um modelo baseado em energia para facilitar verossimilhanças substitutas rápidas. Demonstramos desempenho de ponta tanto na Alanina Dipeptídeo quanto na Alanina Tripeptídeo, evitando termos de divergência custosos. Nosso código está disponível em https://github.com/countrsignal/sita.git

English

A long standing challenge in computational chemistry and biophysics is efficiently sampling the Boltzmann distribution of molecules. Advances in generative modeling have been proposed to address the limitations of conventional sampling techniques by eliminating the computational cost of simulation. A promising direction is iteratively finetuning diffusion models along a temperature ladder whereby training data is generated via importance sampling during inference-time annealing. Unfortunately, these methods require computing a divergence over the score field to estimate importance weights, rendering them intractable for larger systems. Here we present scalable inference-time annealing (SITA), which retrains flow-based models to generate samples at progressively lower temperatures using an energy-based model to facilitate fast surrogate likelihoods. We demonstrate state-of-the-art performance on both Alanine Dipeptide and Alanine Tripeptide while avoiding costly divergence terms. Our code is available at https://github.com/countrsignal/sita.git