CosineGate : Routage dynamique sémantique via l'incompatibilité cosinus dans les réseaux résiduels

Résumé

Les réseaux profonds résiduels modernes effectuent un calcul redondant substantiel en évaluant tous les blocs résiduels pour chaque entrée, même lorsque les mappings d'identité suffisent. Nous introduisons CosineGate, une architecture différentiable de bout en bout pour le routage dynamique dans les réseaux résiduels, qui utilise l'incompatibilité cosinus entre les représentations des caractéristiques d'identité et résiduelles comme signal de saut auto-supervisé. CosineGate mesure la redondance sémantique via le Ratio d'Incompatibilité Cosinus (RIC), défini comme 1 - cos(x, F(x)), et utilise la relaxation Gumbel-Softmax pour permettre un contrôle par échantillon et par bloc pendant l'entraînement. Un terme de régularisation progressif basé sur les FLOPs contrôle l'utilisation moyenne du calcul sans déstabiliser l'optimisation. Sur CIFAR-10, CosineGate couvre la frontière de Pareto précision-efficacité : une configuration agressive atteint 89,9 % de précision avec 24,1 % d'économie de FLOPs, une configuration équilibrée atteint 91,3 % de précision avec 28,5 % d'économie à l'époque 160, et une configuration conservatrice atteint un pic de 93,2 % de précision avec une réduction de calcul minimale. Ces résultats égalent ou dépassent ResNet-20 (91,3 %) tout en réduisant le calcul, sans supervision auxiliaire, distillation ou heuristiques spécifiques à la tâche. Nos résultats démontrent que des mesures géométriques simples d'incompatibilité des caractéristiques fournissent un signal fondé et efficace pour le routage résiduel dynamique.

English

Modern deep residual networks perform substantial redundant computation by evaluating all residual blocks for every input, even when identity mappings suffice. We introduce CosineGate, an end-to-end differentiable architecture for dynamic routing in residual networks that uses cosine incompatibility between identity and residual feature representations as a self-supervised skip signal. CosineGate measures semantic redundancy through the Cosine Incompatibility Ratio (CIR), defined as 1 - cos(x, F(x)), and uses Gumbel-Softmax relaxation to enable per-sample, per-block gating during training. A progressive FLOPs regularization term controls average compute usage without destabilizing optimization. On CIFAR-10, CosineGate spans the accuracy-efficiency Pareto frontier: an aggressive configuration achieves 89.9 percent accuracy with 24.1 percent FLOPs savings, a balanced configuration achieves 91.3 percent accuracy with 28.5 percent savings at epoch 160, and a conservative configuration reaches a peak of 93.2 percent accuracy with minimal compute reduction. These results match or exceed ResNet-20 (91.3 percent) while reducing computation, without auxiliary supervision, distillation, or task-specific heuristics. Our results demonstrate that simple geometric measures of feature incompatibility provide a principled and effective signal for dynamic residual routing.