Дейл встречает Ланжевена: Мультипликативная модель диффузионного шумоподавления

Dale meets Langevin: A Multiplicative Denoising Diffusion Model

October 3, 2025

Авторы: Nishanth Shetty, Madhava Prasath, Chandra Sekhar Seelamantula

cs.AI

Аннотация

Градиентный спуск доказал свою мощь и эффективность как метод оптимизации в многочисленных задачах машинного обучения. Недавние достижения в вычислительной нейробиологии показали, что обучение в стандартной формулировке градиентного спуска не согласуется с обучением в биологических системах. Это открыло интересные возможности для разработки биологически вдохновленных методов обучения. Один из таких подходов основан на законе Дейла, который утверждает, что ингибиторные и возбуждающие синапсы не меняют свои роли в процессе обучения. Результирующая схема оптимизации экспоненциального градиентного спуска приводит к логнормальному распределению синаптических весов. Интересно, что плотность, удовлетворяющая уравнению Фоккера-Планка, соответствующему стохастическому дифференциальному уравнению (СДУ) с геометрическим броуновским движением (ГБД), является логнормальной плотностью. Используя эту связь, мы начинаем с СДУ, описывающего геометрическое броуновское движение, и показываем, что дискретизация соответствующего обратного по времени СДУ приводит к мультипликативному правилу обновления, которое, что удивительно, совпадает с эквивалентом выборки для обновления экспоненциального градиентного спуска, основанного на законе Дейла. Кроме того, мы предлагаем новый формализм для мультипликативного согласования шумов и оценок, включающий функцию потерь, предложенную Хювяриненом для неотрицательных данных. Действительно, логнормально распределенные данные положительны, и предложенный формализм согласования оценок оказывается естественным выбором. Это позволяет обучать модели, основанные на оценках, для данных изображений и приводит к новой мультипликативной схеме обновления для генерации выборок, начиная с логнормальной плотности. Экспериментальные результаты на наборах данных MNIST, Fashion MNIST и Kuzushiji демонстрируют генеративные возможности новой схемы. Насколько нам известно, это первый пример биологически вдохновленной генеративной модели, использующей мультипликативные обновления и основанной на геометрическом броуновском движении.

English

Gradient descent has proven to be a powerful and effective technique for optimization in numerous machine learning applications. Recent advances in computational neuroscience have shown that learning in standard gradient descent optimization formulation is not consistent with learning in biological systems. This has opened up interesting avenues for building biologically inspired learning techniques. One such approach is inspired by Dale's law, which states that inhibitory and excitatory synapses do not swap roles during the course of learning. The resulting exponential gradient descent optimization scheme leads to log-normally distributed synaptic weights. Interestingly, the density that satisfies the Fokker-Planck equation corresponding to the stochastic differential equation (SDE) with geometric Brownian motion (GBM) is the log-normal density. Leveraging this connection, we start with the SDE governing geometric Brownian motion, and show that discretizing the corresponding reverse-time SDE yields a multiplicative update rule, which surprisingly, coincides with the sampling equivalent of the exponential gradient descent update founded on Dale's law. Furthermore, we propose a new formalism for multiplicative denoising score-matching, subsuming the loss function proposed by Hyvaerinen for non-negative data. Indeed, log-normally distributed data is positive and the proposed score-matching formalism turns out to be a natural fit. This allows for training of score-based models for image data and results in a novel multiplicative update scheme for sample generation starting from a log-normal density. Experimental results on MNIST, Fashion MNIST, and Kuzushiji datasets demonstrate generative capability of the new scheme. To the best of our knowledge, this is the first instance of a biologically inspired generative model employing multiplicative updates, founded on geometric Brownian motion.