Dale trifft Langevin: Ein multiplikatives Denoising-Diffusionsmodell

Dale meets Langevin: A Multiplicative Denoising Diffusion Model

October 3, 2025

papers.authors: Nishanth Shetty, Madhava Prasath, Chandra Sekhar Seelamantula

cs.AI

papers.abstract

Der Gradientenabstieg hat sich als leistungsstarke und effektive Technik für die Optimierung in zahlreichen Anwendungen des maschinellen Lernens bewährt. Jüngste Fortschritte in der Computational Neuroscience haben jedoch gezeigt, dass das Lernen im Rahmen der Standardformulierung des Gradientenabstiegs nicht mit dem Lernen in biologischen Systemen übereinstimmt. Dies hat interessante Ansätze für die Entwicklung biologisch inspirierter Lerntechniken eröffnet. Ein solcher Ansatz ist von Dales Gesetz inspiriert, das besagt, dass inhibitorische und exzitatorische Synapsen ihre Rollen während des Lernprozesses nicht tauschen. Das daraus resultierende exponentielle Gradientenabstiegs-Optimierungsschema führt zu log-normal verteilten synaptischen Gewichten. Interessanterweise ist die Dichte, die die Fokker-Planck-Gleichung zur stochastischen Differentialgleichung (SDE) mit geometrischer Brownscher Bewegung (GBM) erfüllt, die log-normale Dichte. Indem wir diese Verbindung nutzen, beginnen wir mit der SDE, die die geometrische Brownsche Bewegung beschreibt, und zeigen, dass die Diskretisierung der entsprechenden zeitumgekehrten SDE eine multiplikative Aktualisierungsregel liefert, die überraschenderweise mit der Stichprobenäquivalenz des exponentiellen Gradientenabstiegs-Updates übereinstimmt, das auf Dales Gesetz basiert. Darüber hinaus schlagen wir einen neuen Formalismus für die multiplikative Denoising-Score-Matching-Methode vor, der die von Hyvärinen für nicht-negative Daten vorgeschlagene Verlustfunktion umfasst. Tatsächlich sind log-normal verteilte Daten positiv, und der vorgeschlagene Score-Matching-Formalismus erweist sich als natürliche Wahl. Dies ermöglicht das Training von Score-basierten Modellen für Bilddaten und führt zu einem neuartigen multiplikativen Aktualisierungsschema für die Stichprobengenerierung ausgehend von einer log-normalen Dichte. Experimentelle Ergebnisse auf den MNIST-, Fashion MNIST- und Kuzushiji-Datensätzen demonstrieren die generative Fähigkeit des neuen Schemas. Nach unserem besten Wissen ist dies das erste Beispiel eines biologisch inspirierten generativen Modells, das multiplikative Aktualisierungen verwendet und auf geometrischer Brownscher Bewegung basiert.

English

Gradient descent has proven to be a powerful and effective technique for optimization in numerous machine learning applications. Recent advances in computational neuroscience have shown that learning in standard gradient descent optimization formulation is not consistent with learning in biological systems. This has opened up interesting avenues for building biologically inspired learning techniques. One such approach is inspired by Dale's law, which states that inhibitory and excitatory synapses do not swap roles during the course of learning. The resulting exponential gradient descent optimization scheme leads to log-normally distributed synaptic weights. Interestingly, the density that satisfies the Fokker-Planck equation corresponding to the stochastic differential equation (SDE) with geometric Brownian motion (GBM) is the log-normal density. Leveraging this connection, we start with the SDE governing geometric Brownian motion, and show that discretizing the corresponding reverse-time SDE yields a multiplicative update rule, which surprisingly, coincides with the sampling equivalent of the exponential gradient descent update founded on Dale's law. Furthermore, we propose a new formalism for multiplicative denoising score-matching, subsuming the loss function proposed by Hyvaerinen for non-negative data. Indeed, log-normally distributed data is positive and the proposed score-matching formalism turns out to be a natural fit. This allows for training of score-based models for image data and results in a novel multiplicative update scheme for sample generation starting from a log-normal density. Experimental results on MNIST, Fashion MNIST, and Kuzushiji datasets demonstrate generative capability of the new scheme. To the best of our knowledge, this is the first instance of a biologically inspired generative model employing multiplicative updates, founded on geometric Brownian motion.