Dale rencontre Langevin : Un modèle de diffusion de bruit multiplicatif

Dale meets Langevin: A Multiplicative Denoising Diffusion Model

October 3, 2025

papers.authors: Nishanth Shetty, Madhava Prasath, Chandra Sekhar Seelamantula

cs.AI

papers.abstract

La descente de gradient s’est avérée être une technique puissante et efficace pour l’optimisation dans de nombreuses applications d’apprentissage automatique. Les avancées récentes en neurosciences computationnelles ont montré que l’apprentissage dans la formulation standard de l’optimisation par descente de gradient n’est pas cohérent avec l’apprentissage dans les systèmes biologiques. Cela a ouvert des perspectives intéressantes pour développer des techniques d’apprentissage inspirées de la biologie. Une telle approche s’inspire de la loi de Dale, qui stipule que les synapses inhibitrices et excitatrices n’échangent pas leurs rôles au cours de l’apprentissage. Le schéma d’optimisation par descente de gradient exponentielle qui en résulte conduit à des poids synaptiques distribués selon une loi log-normale. Fait intéressant, la densité qui satisfait l’équation de Fokker-Planck correspondant à l’équation différentielle stochastique (EDS) avec un mouvement brownien géométrique (MBG) est la densité log-normale. En exploitant cette connexion, nous partons de l’EDS gouvernant le mouvement brownien géométrique et montrons que la discrétisation de l’EDS en temps inverse donne une règle de mise à jour multiplicative, qui coïncide de manière surprenante avec l’équivalent d’échantillonnage de la mise à jour de la descente de gradient exponentielle fondée sur la loi de Dale. De plus, nous proposons un nouveau formalisme pour l’appariement de scores multiplicatifs avec débruitage, englobant la fonction de perte proposée par Hyvärinen pour les données non négatives. En effet, les données distribuées selon une loi log-normale sont positives, et le formalisme d’appariement de scores proposé s’avère être un choix naturel. Cela permet l’entraînement de modèles basés sur les scores pour les données d’images et aboutit à un nouveau schéma de mise à jour multiplicative pour la génération d’échantillons à partir d’une densité log-normale. Les résultats expérimentaux sur les ensembles de données MNIST, Fashion MNIST et Kuzushiji démontrent la capacité générative de ce nouveau schéma. À notre connaissance, il s’agit de la première instance d’un modèle génératif inspiré de la biologie utilisant des mises à jour multiplicatives, fondé sur le mouvement brownien géométrique.

English

Gradient descent has proven to be a powerful and effective technique for optimization in numerous machine learning applications. Recent advances in computational neuroscience have shown that learning in standard gradient descent optimization formulation is not consistent with learning in biological systems. This has opened up interesting avenues for building biologically inspired learning techniques. One such approach is inspired by Dale's law, which states that inhibitory and excitatory synapses do not swap roles during the course of learning. The resulting exponential gradient descent optimization scheme leads to log-normally distributed synaptic weights. Interestingly, the density that satisfies the Fokker-Planck equation corresponding to the stochastic differential equation (SDE) with geometric Brownian motion (GBM) is the log-normal density. Leveraging this connection, we start with the SDE governing geometric Brownian motion, and show that discretizing the corresponding reverse-time SDE yields a multiplicative update rule, which surprisingly, coincides with the sampling equivalent of the exponential gradient descent update founded on Dale's law. Furthermore, we propose a new formalism for multiplicative denoising score-matching, subsuming the loss function proposed by Hyvaerinen for non-negative data. Indeed, log-normally distributed data is positive and the proposed score-matching formalism turns out to be a natural fit. This allows for training of score-based models for image data and results in a novel multiplicative update scheme for sample generation starting from a log-normal density. Experimental results on MNIST, Fashion MNIST, and Kuzushiji datasets demonstrate generative capability of the new scheme. To the best of our knowledge, this is the first instance of a biologically inspired generative model employing multiplicative updates, founded on geometric Brownian motion.