Сбалансированное по сложности диффузионное расщепление

Аннотация

Стандартные непрерывные по времени генеративные модели опираются на монолитные архитектуры, которые должны ориентироваться в кардинально различных режимах сигналов — от изотропного шума до сложных распределений данных. Хотя увеличение емкости модели улучшает производительность, развертывание массивной сети единообразно на всем протяжении генеративного временного ряда по своей сути неэффективно. В этой работе мы предлагаем принципиальный фреймворк для распределения временной емкости — байесовское разбиение с балансировкой сложности (Complexity-Balanced Splitting, CBS), который распределяет генеративную нагрузку между несколькими специализированными подсетями. Основанный на теории аппроксимации функций и принципе равномерного распределения де Бура, CBS делит временной ряд диффузии на сегменты с равной аппроксимационной нагрузкой, выделяя больше репрезентативной способности областям, где генеративная динамика труднее поддается моделированию. Для оценки локальной сложности мы вводим две взаимодополняющие и вычислимые функции мониторинга: пространственную меру, основанную на энергии Дирихле потока, и геометрическую меру, основанную на ускорении траекторий выборки. Используя легковесную вспомогательную модель для оценки этих профилей сложности, наш подход устраняет необходимость в эвристических временных разбиениях или вычислительно затратных процедурах поиска. Обширная оценка на нескольких архитектурах (SiT, JiT и UNet) и наборах данных демонстрирует, что CBS последовательно улучшает качество синтеза без увеличения стоимости инференса на шаг. В частности, CBS улучшает FID примерно на 35% на SiT-XL с CFG по сравнению с наивным временным разбиением. Страница проекта доступна по адресу https://noamissachar.github.io/CBS/.

English

Standard continuous-time generative models rely on monolithic architectures that must navigate vastly different signal regimes, from isotropic noise to intricate data distributions. While scaling model capacity improves performance, deploying a massive network uniformly across the entire generative timeline is inherently inefficient. In this work, we propose Complexity-Balanced Splitting (CBS), a principled framework for temporal capacity allocation that distributes the generative workload across multiple specialized sub-networks. Grounded in function approximation theory and de Boor's equidistribution principle, CBS partitions the diffusion timeline into segments of equal approximation burden, allocating more representational capacity to regions where the generative dynamics are more difficult to model. To estimate this local complexity, we introduce two complementary and tractable monitor functions: a spatial measure based on the flow's Dirichlet energy, and a geometric measure based on the acceleration of the sampling trajectories. Using a lightweight auxiliary model to estimate these complexity profiles, our approach eliminates the need for heuristic temporal splits or computationally expensive search procedures. Extensive evaluation across multiple architectures (SiT, JiT, and UNet) and datasets demonstrates that CBS consistently improves synthesis quality without increasing per-step inference cost. In particular, CBS improves FID by ~35% on SiT-XL with CFG relative to naive temporal partitioning. Project page is available at https://noamissachar.github.io/CBS/.