Маршрутизация лотереи: адаптивные подсети для гетерогенных данных

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

January 29, 2026

Авторы: Grzegorz Stefanski, Alberto Presta, Michal Byra

cs.AI

Аннотация

В области прунинга Гипотеза Лотерейного Билета постулирует, что крупные сети содержат разреженные подсети, или «выигрышные билеты», которые можно обучать изолированно для достижения производительности их плотных аналогов. Однако большинство существующих подходов предполагают наличие единого универсального «выигрышного билета», общего для всех входных данных, игнорируя присущую реальным данным неоднородность. В данной работе мы предлагаем Routing the Lottery (RTL) — адаптивную систему прунинга, которая обнаруживает несколько специализированных подсетей, называемых адаптивными билетами, каждая из которых настроена на определенный класс, семантический кластер или условие окружающей среды. На различных наборах данных и задачах RTL стабильно превосходит базовые методы с одной и несколькими моделями по сбалансированной точности и полноте, используя до 10 раз меньше параметров, чем независимые модели, и демонстрируя семантическую согласованность. Кроме того, мы выявляем «коллапс подсети» — снижение производительности при агрессивном прунинге — и вводим показатель сходства подсетей, который позволяет проводить диагностику чрезмерного разрежения без использования меток. В целом, наши результаты представляют прунинг как механизм согласования структуры модели с неоднородностью данных, прокладывая путь к более модульному и контекстно-ориентированному глубокому обучению.

English

In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.