Roteando a Loteria: Sub-redes Adaptativas para Dados Heterogêneos

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

January 29, 2026

Autores: Grzegorz Stefanski, Alberto Presta, Michal Byra

cs.AI

Resumo

Na poda de redes neurais, a Hipótese do Bilhete Premiado postula que redes grandes contêm sub-redes esparsas, ou "bilhetes premiados", que podem ser treinadas isoladamente para igualar o desempenho de suas contrapartes densas. No entanto, a maioria das abordagens existentes assume um único bilhete premiado universal compartilhado por todas as entradas, ignorando a heterogeneidade inerente dos dados do mundo real. Neste trabalho, propomos o Roteamento do Bilhete (RTL), uma estrutura de poda adaptativa que descobre múltiplas sub-redes especializadas, denominadas *bilhetes adaptativos*, cada uma ajustada a uma classe, cluster semântico ou condição ambiental. Em diversos conjuntos de dados e tarefas, o RTL supera consistentemente as linhas de base de modelo único e múltiplos modelos em precisão balanceada e *recall*, utilizando até 10 vezes menos parâmetros do que modelos independentes e exibindo alinhamento semântico. Além disso, identificamos o *colapso da sub-rede*, uma queda de desempenho sob poda agressiva, e introduzimos uma pontuação de similaridade entre sub-redes que permite o diagnóstico de esparsificação excessiva sem a necessidade de rótulos. No geral, nossos resultados reformulam a poda como um mecanismo para alinhar a estrutura do modelo com a heterogeneidade dos dados, abrindo caminho para uma aprendizagem profunda mais modular e consciente do contexto.

English

In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.