Enrutando la Lotería: Subredes Adaptativas para Datos Heterogéneos

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

January 29, 2026

Autores: Grzegorz Stefanski, Alberto Presta, Michal Byra

cs.AI

Resumen

En la poda de redes neuronales, la Hipótesis del Boleto de Lotería postula que las redes grandes contienen subredes dispersas, o "boletos ganadores", que pueden entrenarse de forma aislada para igualar el rendimiento de sus contrapartes densas. Sin embargo, la mayoría de los enfoques existentes asumen un único boleto ganador universal compartido por todas las entradas, ignorando la heterogeneidad inherente de los datos del mundo real. En este trabajo, proponemos "Enrutando la Lotería" (RTL), un marco de poda adaptativa que descubre múltiples subredes especializadas, denominadas *boletos adaptativos*, cada una adaptada a una clase, cluster semántico o condición ambiental. En diversos conjuntos de datos y tareas, RTL supera consistentemente a los métodos de referencia de modelo único y múltiples modelos en precisión equilibrada y exhaustividad, mientras utiliza hasta 10 veces menos parámetros que los modelos independientes y exhibe una alineación semántica. Además, identificamos el *colapso de la subred*, una caída en el rendimiento bajo una poda agresiva, e introducimos una puntuación de similitud entre subredes que permite un diagnóstico sin etiquetas de la sobre-esparsificación. En general, nuestros resultados replantean la poda como un mecanismo para alinear la estructura del modelo con la heterogeneidad de los datos, allanando el camino hacia un aprendizaje profundo más modular y consciente del contexto.

English

In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.