Indirizzamento della Lotteria: Sottomodelli Adattivi per Dati Eterogenei

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

January 29, 2026

Autori: Grzegorz Stefanski, Alberto Presta, Michal Byra

cs.AI

Abstract

Nell'ambito del pruning, l'Ipotesi del Biglietto Vincente (Lottery Ticket Hypothesis) postula che le reti neurali di grandi dimensioni contengano sottoreti sparse, o "biglietti vincenti", che possono essere addestrate in isolamento per eguagliare le prestazioni delle loro controparti dense. Tuttavia, la maggior parte degli approcci esistenti presuppone l'esistenza di un unico biglietto vincente universale condiviso tra tutti gli input, ignorando l'intrinseca eterogeneità dei dati del mondo reale. In questo lavoro, proponiamo "Routing the Lottery" (RTL), un framework di pruning adattivo che scopre multiple sottoreti specializzate, denominate "biglietti adattivi", ciascuna ottimizzata per una classe, un cluster semantico o una condizione ambientale specifica. Attraverso diversi dataset e task, RTL supera costantemente i baseline a modello singolo e multi-modello in termini di accuratezza bilanciata e recall, utilizzando fino a 10 volte meno parametri rispetto a modelli indipendenti e mostrando un allineamento semantico. Inoltre, identifichiamo il "collasso della sottorete", un calo delle prestazioni sotto un pruning aggressivo, e introduciamo un punteggio di similarità tra sottoreti che consente una diagnosi dell'eccessiva sparsificazione senza l'uso di etichette. Nel complesso, i nostri risultati reinterpretano il pruning come un meccanismo per allineare la struttura del modello con l'eterogeneità dei dati, aprendo la strada a un deep learning più modulare e consapevole del contesto.

English

In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.