DiffusionBlocks: Блочное обучение для генеративных моделей с использованием диффузии на основе оценок

DiffusionBlocks: Blockwise Training for Generative Models via Score-Based Diffusion

June 17, 2025

Авторы: Makoto Shing, Takuya Akiba

cs.AI

Аннотация

Обучение крупных нейронных сетей с использованием сквозного обратного распространения создает значительные ограничения по памяти, что затрудняет доступ к передовым исследованиям в области ИИ. Мы предлагаем DiffusionBlocks — новый подход к обучению, который интерпретирует блоки нейронной сети как операции удаления шума в непрерывном процессе диффузии. Разделяя сеть на независимо обучаемые блоки и оптимизируя уровни шума на основе равного накопленного вероятностного распределения, наш метод достигает значительной эффективности использования памяти, сохраняя при этом конкурентоспособную производительность по сравнению с традиционным обратным распространением в генеративных задачах. Эксперименты на задачах генерации изображений и языкового моделирования демонстрируют пропорциональное уменьшение использования памяти в зависимости от количества блоков при достижении превосходной производительности. DiffusionBlocks открывает перспективный путь для демократизации доступа к обучению крупномасштабных нейронных сетей при ограниченных вычислительных ресурсах.

English

Training large neural networks with end-to-end backpropagation creates significant memory bottlenecks, limiting accessibility to state-of-the-art AI research. We propose DiffusionBlocks, a novel training framework that interprets neural network blocks as performing denoising operations in a continuous-time diffusion process. By partitioning the network into independently trainable blocks and optimizing noise level assignments based on equal cumulative probability mass, our approach achieves significant memory efficiency while maintaining competitive performance compared to traditional backpropagation in generative tasks. Experiments on image generation and language modeling tasks demonstrate memory reduction proportional to the number of blocks while achieving superior performance. DiffusionBlocks provides a promising pathway for democratizing access to large-scale neural network training with limited computational resources.