Routing the Lottery: Adaptive Teilnetzwerke für heterogene Daten

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

January 29, 2026

papers.authors: Grzegorz Stefanski, Alberto Presta, Michal Byra

cs.AI

papers.abstract

Beim Prunen geht die Lottery Ticket Hypothesis davon aus, dass große Netzwerke spärliche Teilnetzwerke – sogenannte „gewinnende Lose“ – enthalten, die isoliert trainiert werden können, um die Leistung ihrer dichten Gegenstücke zu erreichen. Die meisten bestehenden Ansätze gehen jedoch von einem einzigen universellen „gewinnenden Los“ aus, das für alle Eingaben gleichermaßen gilt, und ignorieren dabei die inhärente Heterogenität realer Daten. In dieser Arbeit schlagen wir „Routing the Lottery“ (RTL) vor, ein adaptives Pruning-Framework, das mehrere spezialisierte Teilnetzwerke – sogenannte adaptive Lose – identifiziert, die jeweils auf eine Klasse, einen semantischen Cluster oder eine Umgebungsbedingung zugeschnitten sind. Über verschiedene Datensätze und Aufgaben hinweg übertrifft RTL durchgängig Einzel- und Multi-Model-Baselines in Bezug auf balanced Accuracy und Recall, verwendet dabei bis zu 10-mal weniger Parameter als unabhängige Modelle und zeigt semantisch ausgerichtete Merkmale. Darüber hinaus identifizieren wir den „Subnetwork Collapse“ – einen Leistungseinbruch bei aggressivem Pruning – und führen einen Ähnlichkeitsscore für Teilnetzwerke ein, der eine etikettenfreie Diagnose von Übersparsifizierung ermöglicht. Insgesamt betrachten wir unsere Ergebnisse als Neuinterpretation von Pruning als Mechanismus zur Ausrichtung der Modellstruktur an Datenheterogenität, was den Weg zu modularerem und kontextbewussterem Deep Learning ebnet.

English

In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.