DiffusionBlocks : Entraînement par blocs pour les modèles génératifs via la diffusion basée sur les scores

DiffusionBlocks: Blockwise Training for Generative Models via Score-Based Diffusion

June 17, 2025

papers.authors: Makoto Shing, Takuya Akiba

cs.AI

papers.abstract

L'entraînement de grands réseaux de neurones par rétropropagation de bout en bout crée d'importants goulots d'étranglement en matière de mémoire, limitant l'accès à la recherche de pointe en IA. Nous proposons DiffusionBlocks, un nouveau cadre d'entraînement qui interprète les blocs de réseaux de neurones comme effectuant des opérations de débruitage dans un processus de diffusion en temps continu. En partitionnant le réseau en blocs entraînables de manière indépendante et en optimisant les niveaux de bruit basés sur une masse de probabilité cumulative égale, notre approche atteint une efficacité mémoire significative tout en maintenant des performances compétitives par rapport à la rétropropagation traditionnelle dans les tâches génératives. Les expériences sur les tâches de génération d'images et de modélisation du langage démontrent une réduction de la mémoire proportionnelle au nombre de blocs tout en obtenant des performances supérieures. DiffusionBlocks offre une voie prometteuse pour démocratiser l'accès à l'entraînement de réseaux de neurones à grande échelle avec des ressources computationnelles limitées.

English

Training large neural networks with end-to-end backpropagation creates significant memory bottlenecks, limiting accessibility to state-of-the-art AI research. We propose DiffusionBlocks, a novel training framework that interprets neural network blocks as performing denoising operations in a continuous-time diffusion process. By partitioning the network into independently trainable blocks and optimizing noise level assignments based on equal cumulative probability mass, our approach achieves significant memory efficiency while maintaining competitive performance compared to traditional backpropagation in generative tasks. Experiments on image generation and language modeling tasks demonstrate memory reduction proportional to the number of blocks while achieving superior performance. DiffusionBlocks provides a promising pathway for democratizing access to large-scale neural network training with limited computational resources.