ロトのルーティング：異種データに対する適応的サブネットワーク

要旨

剪枝におけるロータリーチケット仮説は、大規模ネットワークには疎なサブネットワーク（勝ちチケット）が含まれており、これを単独で学習させることで密なネットワークと同等の性能を達成できると提唱する。しかし、既存手法の多くは全ての入力に共通する単一の普遍的な勝ちチケットを想定しており、実世界データが本来有する不均質性を無視している。本研究では、Routing the Lottery (RTL) を提案する。これはクラス・意味的クラスタ・環境条件に応じて特化した複数の適応的チケットを発見する適応的剪枝フレームワークである。多様なデータセットとタスクにおいて、RTLは独立したモデルと比べて最大10倍少ないパラメータ数でありながら、バランス精度と再現率の両方で単一／複数モデルのベースラインを一貫して上回り、意味的整合性を示した。さらに、過度な剪枝条件下での性能急落であるサブネットワーク崩壊を特定し、ラベル不要で過疎化を診断可能なサブネットワーク類似度スコアを導入する。全体として、本成果は剪枝をモデル構造とデータ不均質性の整合を図る仕組みとして再定義し、よりモジュール化され文脈認識的な深層学習への道を開くものである。

English

In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.

ロトのルーティング：異種データに対する適応的サブネットワーク

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

要旨

Support