Het Loterijprincipe Toepassen: Adaptieve Subnetwerken voor Heterogene Gegevens

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

January 29, 2026

Auteurs: Grzegorz Stefanski, Alberto Presta, Michal Byra

cs.AI

Samenvatting

Bij het snoeien van neurale netwerken stelt de Loterijbriefhypothese dat grote netwerken spaarzame subnetwerken, of 'winnende loten', bevatten die geïsoleerd getraind kunnen worden om de prestaties van hun dichte tegenhangers te evenaren. De meeste bestaande benaderingen gaan echter uit van een enkel universeel winnend lot dat voor alle invoer geldt, waarbij de inherente heterogeniteit van real-world data wordt genegeerd. In dit werk introduceren we Routing the Lottery (RTL), een adaptief snoeiframework dat meerdere gespecialiseerde subnetwerken ontdekt, zogenaamde adaptieve loten, die elk zijn afgestemd op een klasse, semantische cluster of omgevingsconditie. Over uiteenlopende datasets en taken heen presteert RTL consistent beter dan single- en multi-model-baselines in gebalanceerde nauwkeurigheid en recall, terwijl het tot 10 keer minder parameters gebruikt dan onafhankelijke modellen en semantisch gealigneerd gedrag vertoont. Daarnaast identificeren we subnetworkcollapse, een prestatieverlies bij agressief snoeien, en introduceren we een similariteitsscore voor subnetwerken die labelvrije diagnose van oversparsificatie mogelijk maakt. Onze resultaten herdefiniëren snoeien als een mechanisme om modelstructuur af te stemmen op dataheterogeniteit, wat de weg effent naar meer modulair en contextbewust deep learning.

English

In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.