DiffusionBlocks: Bloksgewijze training voor generatieve modellen via score-gebaseerde diffusie

DiffusionBlocks: Blockwise Training for Generative Models via Score-Based Diffusion

June 17, 2025

Auteurs: Makoto Shing, Takuya Akiba

cs.AI

Samenvatting

Het trainen van grote neurale netwerken met end-to-end backpropagatie creëert aanzienlijke geheugenknelpunten, wat de toegankelijkheid tot state-of-the-art AI- onderzoek beperkt. Wij stellen DiffusionBlocks voor, een nieuw trainingsraamwerk dat neurale netwerkblokken interpreteert als het uitvoeren van ruisverwijderingsoperaties in een continue-tijd diffusieproces. Door het netwerk op te delen in onafhankelijk trainbare blokken en de toewijzing van ruisniveaus te optimaliseren op basis van gelijke cumulatieve waarschijnlijkheidsmassa, bereikt onze aanpak een aanzienlijke geheugen- efficiëntie terwijl het competitieve prestaties behoudt in vergelijking met traditionele backpropagatie in generatieve taken. Experimenten op het gebied van beeldgeneratie en taalmodelleertaken tonen een geheugenreductie aan die evenredig is met het aantal blokken, terwijl superieure prestaties worden behaald. DiffusionBlocks biedt een veelbelovende route voor het democratiseren van toegang tot grootschalige neurale netwerk- training met beperkte rekenmiddelen.

English

Training large neural networks with end-to-end backpropagation creates significant memory bottlenecks, limiting accessibility to state-of-the-art AI research. We propose DiffusionBlocks, a novel training framework that interprets neural network blocks as performing denoising operations in a continuous-time diffusion process. By partitioning the network into independently trainable blocks and optimizing noise level assignments based on equal cumulative probability mass, our approach achieves significant memory efficiency while maintaining competitive performance compared to traditional backpropagation in generative tasks. Experiments on image generation and language modeling tasks demonstrate memory reduction proportional to the number of blocks while achieving superior performance. DiffusionBlocks provides a promising pathway for democratizing access to large-scale neural network training with limited computational resources.