Acheminer la loterie : Sous-réseaux adaptatifs pour données hétérogènes

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

January 29, 2026

papers.authors: Grzegorz Stefanski, Alberto Presta, Michal Byra

cs.AI

papers.abstract

Dans l'élagage de réseaux de neurones, l'hypothèse du billet gagnant (Lottery Ticket Hypothesis) postule que les grands réseaux contiennent des sous-réseaux parcimonieux, ou « billets gagnants », qui peuvent être entraînés isolément pour atteindre des performances équivalentes à celles de leurs contreparties denses. Cependant, la plupart des approches existantes supposent l'existence d'un unique billet gagnant universel partagé par toutes les entrées, ignorant ainsi l'hétérogénéité intrinsèque des données réelles. Dans ce travail, nous proposons « Router le billet gagnant » (Routing the Lottery, RTL), un cadre d'élagage adaptatif qui découvre plusieurs sous-réseaux spécialisés, appelés « billets adaptatifs », chacun étant conçu pour une classe, un cluster sémantique ou une condition environnementale spécifique. Sur divers jeux de données et tâches, RTL surpasse systématiquement les modèles de référence à modèle unique ou multiples en termes de précision équilibrée et de rappel, tout en utilisant jusqu'à 10 fois moins de paramètres que des modèles indépendants et en présentant un alignement sémantique. Par ailleurs, nous identifions l'effondrement des sous-réseaux, une baisse de performance sous un élagage agressif, et introduisons un score de similarité des sous-réseaux qui permet un diagnostic sans étiquette de la sur-parcimonie. Globalement, nos résultats reconsidèrent l'élagage comme un mécanisme d'alignement de la structure du modèle avec l'hétérogénéité des données, ouvrant la voie à un apprentissage profond plus modulaire et conscient du contexte.

English

In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.