DiffusionBlocks: Addestramento a Blocchi per Modelli Generativi tramite Diffusione Basata su Punteggio
DiffusionBlocks: Blockwise Training for Generative Models via Score-Based Diffusion
June 17, 2025
Autori: Makoto Shing, Takuya Akiba
cs.AI
Abstract
L'addestramento di grandi reti neurali con backpropagation end-to-end crea
significativi colli di bottiglia nella memoria, limitando l'accessibilità alla
ricerca all'avanguardia nell'IA. Proponiamo DiffusionBlocks, un nuovo framework
di addestramento che interpreta i blocchi delle reti neurali come operazioni di
denoising in un processo di diffusione a tempo continuo. Suddividendo la rete in
blocchi addestrabili in modo indipendente e ottimizzando l'assegnazione dei livelli
di rumore basata sulla massa di probabilità cumulativa uguale, il nostro approccio
raggiunge una significativa efficienza di memoria mantenendo prestazioni
competitive rispetto alla backpropagation tradizionale nei task generativi.
Esperimenti su task di generazione di immagini e modellazione del linguaggio
dimostrano una riduzione della memoria proporzionale al numero di blocchi,
raggiungendo al contempo prestazioni superiori. DiffusionBlocks offre una
promettente via per democratizzare l'accesso all'addestramento di reti neurali
su larga scala con risorse computazionali limitate.
English
Training large neural networks with end-to-end backpropagation creates
significant memory bottlenecks, limiting accessibility to state-of-the-art AI
research. We propose DiffusionBlocks, a novel training framework
that interprets neural network blocks as performing denoising operations in a
continuous-time diffusion process. By partitioning the network into
independently trainable blocks and optimizing noise level assignments based on
equal cumulative probability mass, our approach achieves significant memory
efficiency while maintaining competitive performance compared to traditional
backpropagation in generative tasks. Experiments on image generation and
language modeling tasks demonstrate memory reduction proportional to the number
of blocks while achieving superior performance. DiffusionBlocks provides a
promising pathway for democratizing access to large-scale neural network
training with limited computational resources.