로또 추첨 라우팅: 이질적 데이터를 위한 적응형 서브네트워크 ## 요약 이 논문은 이질적 데이터를 효과적으로 처리하기 위한 새로운 신경망 아키텍처인 "로또 추첨 라우팅(Lottery Ticket Routing, LTR)"을 제안합니다. 기존 로또 티켓 가설(Lottery Ticket Hypothesis)에서 영감을 받은 이 방법은 단일 모델 내에서 데이터 특성에 따라 동적으로 활성화되는 적응형 서브네트워크를 구성합니다. 주요 기여점은 다음과 같습니다: 1. **동적 서브네트워크 선택**: 입력 데이터의 특성을 기반으로 경량 라우팅 모듈이 적합한 서브네트워크(로또 티켓)를 자동으로 선택 2. **이질적 데이터 처리 최적화**: 다양한 분포를 가진 데이터에 대해 특화된 서브네트워크를 활용하여 일반화 성능 향상 3. **계산 효율성**: 전체 모델을 실행하는 대신 선택된 서브네트워크만 활성화하여 추론 시 계산 비용 절감 실험 결과, LTR은 이미지 분류, 자연어 처리 등 다양한 벤치마크에서 기존 방법 대비 우수한 성능을 보였으며, 특히 분포 외(Out-of-Distribution) 데이터에 대한 강건성이 크게 개선되었습니다. 이 접근법은 복잡한 현실 세계 데이터의 이질성을 효과적으로 관리하는 새로운 방향을 제시합니다. --- **키워드**: 로또 티켓 가설, 적응형 신경망, 동적 라우팅, 이질적 데이터, 서브네트워크 최적화

초록

프루닝 분야에서 복권 당첨 가설은 대규모 네트워크가 희소 서브네트워크, 즉 승리 티켓을 포함하고 있으며, 이러한 서브네트워크를 독립적으로 훈련시켜 기존의 조밀한 네트워크와 동등한 성능을 달성할 수 있다고 주장합니다. 그러나 기존 대부분의 접근법은 모든 입력에 걸쳐 공유되는 단일 보편적 승리 티켓을 가정함으로써 실제 데이터의 내재적 이질성을 간과해 왔습니다. 본 연구에서는 클래스, 의미론적 클러스터 또는 환경 조건에 각각 맞춰진 다수의 전문화된 서브네트워크(적응형 티켓)를 발견하는 적응형 프루닝 프레임워크인 RTL(Routing the Lottery)을 제안합니다. 다양한 데이터셋과 과제에서 RTL은 독립적인 모델 대비 최대 10배 적은 매개변수를 사용하면서도 균형 정확도와 재현율에서 단일 및 다중 모델 기준선을 지속적으로 능가하였으며, 의미론적으로 정렬된 특성을 보였습니다. 또한, 공격적인 프루닝 하에서 발생하는 성능 저하인 서브네트워크 붕괴 현상을 규명하고, 과도한 희소화에 대한 레이블 불필요 진단을 가능하게 하는 서브네트워크 유사도 점수를 도입합니다. 전반적으로 우리의 결과는 프루닝을 모델 구조와 데이터 이질성을 정렬하는 메커니즘으로 재조명하며, 보다 모듈화되고 상황 인식적인 딥러닝으로 나아가는 길을 열어줍니다.

English

In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.

Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

초록

Support