DiffusionBlocks: Entrenamiento por Bloques para Modelos Generativos mediante Difusión Basada en Puntuaciones

DiffusionBlocks: Blockwise Training for Generative Models via Score-Based Diffusion

June 17, 2025

Autores: Makoto Shing, Takuya Akiba

cs.AI

Resumen

El entrenamiento de grandes redes neuronales mediante retropropagación de extremo a extremo genera cuellos de botella significativos en la memoria, limitando el acceso a la investigación de vanguardia en IA. Proponemos DiffusionBlocks, un marco de entrenamiento novedoso que interpreta los bloques de la red neuronal como operaciones de eliminación de ruido en un proceso de difusión en tiempo continuo. Al dividir la red en bloques entrenables de manera independiente y optimizar las asignaciones de niveles de ruido basadas en una masa de probabilidad acumulada igual, nuestro enfoque logra una eficiencia de memoria significativa mientras mantiene un rendimiento competitivo en comparación con la retropropagación tradicional en tareas generativas. Los experimentos en generación de imágenes y modelado de lenguaje demuestran una reducción de memoria proporcional al número de bloques, logrando un rendimiento superior. DiffusionBlocks ofrece una vía prometedora para democratizar el acceso al entrenamiento de redes neuronales a gran escala con recursos computacionales limitados.

English

Training large neural networks with end-to-end backpropagation creates significant memory bottlenecks, limiting accessibility to state-of-the-art AI research. We propose DiffusionBlocks, a novel training framework that interprets neural network blocks as performing denoising operations in a continuous-time diffusion process. By partitioning the network into independently trainable blocks and optimizing noise level assignments based on equal cumulative probability mass, our approach achieves significant memory efficiency while maintaining competitive performance compared to traditional backpropagation in generative tasks. Experiments on image generation and language modeling tasks demonstrate memory reduction proportional to the number of blocks while achieving superior performance. DiffusionBlocks provides a promising pathway for democratizing access to large-scale neural network training with limited computational resources.