Complexiteitsgebalanceerde diffusiesplitsing

Samenvatting

Standaard continue-tijdsgeneratieve modellen vertrouwen op monolithische architecturen die door enorm verschillende signaalregimes moeten navigeren, van isotrope ruis tot ingewikkelde gegevensdistributies. Hoewel het opschalen van de modelcapaciteit de prestaties verbetert, is het inzetten van een massief netwerk uniform over de volledige generatieve tijdlijn inherent inefficiënt. In dit werk introduceren we Complexity-Balanced Splitting (CBS), een gefundeerd raamwerk voor temporele capaciteitstoewijzing dat de generatieve werklast verdeelt over meerdere gespecialiseerde subnetwerken. Gegrond in functiebenaderingstheorie en de Boors equidistributieprincipe, verdeelt CBS de diffusietijdlijn in segmenten met gelijke benaderingslast, waarbij meer representatiecapaciteit wordt toegewezen aan regio's waar de generatieve dynamiek moeilijker te modelleren is. Om deze lokale complexiteit te schatten, introduceren we twee complementaire en hanteerbare monitorfuncties: een ruimtelijke maatstaf gebaseerd op de Dirichlet-energie van de stroming, en een geometrische maatstaf gebaseerd op de versnelling van de bemonsteringstrajecten. Door een lichtgewicht hulpmodel te gebruiken om deze complexiteitsprofielen te schatten, elimineert onze aanpak de noodzaak voor heuristische temporele splitsingen of rekenintensieve zoekprocedures. Uitgebreide evaluatie over meerdere architecturen (SiT, JiT en UNet) en datasets toont aan dat CBS consistent de synthesekwaliteit verbetert zonder de inferentiekosten per stap te verhogen. In het bijzonder verbetert CBS de FID met ~35% op SiT-XL met CFG in vergelijking met naïeve temporele partitionering. De projectpagina is beschikbaar op https://noamissachar.github.io/CBS/.

English

Standard continuous-time generative models rely on monolithic architectures that must navigate vastly different signal regimes, from isotropic noise to intricate data distributions. While scaling model capacity improves performance, deploying a massive network uniformly across the entire generative timeline is inherently inefficient. In this work, we propose Complexity-Balanced Splitting (CBS), a principled framework for temporal capacity allocation that distributes the generative workload across multiple specialized sub-networks. Grounded in function approximation theory and de Boor's equidistribution principle, CBS partitions the diffusion timeline into segments of equal approximation burden, allocating more representational capacity to regions where the generative dynamics are more difficult to model. To estimate this local complexity, we introduce two complementary and tractable monitor functions: a spatial measure based on the flow's Dirichlet energy, and a geometric measure based on the acceleration of the sampling trajectories. Using a lightweight auxiliary model to estimate these complexity profiles, our approach eliminates the need for heuristic temporal splits or computationally expensive search procedures. Extensive evaluation across multiple architectures (SiT, JiT, and UNet) and datasets demonstrates that CBS consistently improves synthesis quality without increasing per-step inference cost. In particular, CBS improves FID by ~35% on SiT-XL with CFG relative to naive temporal partitioning. Project page is available at https://noamissachar.github.io/CBS/.