CosineGate: Semantische Dynamische Routering via Cosinus-Incompatibiliteit in Residuele Netwerken

Samenvatting

Moderne diepe residuale netwerken voeren aanzienlijke redundante berekeningen uit door voor elke invoer alle residuale blokken te evalueren, zelfs wanneer identiteitsafbeeldingen volstaan. Wij introduceren CosineGate, een end-to-end differentieerbare architectuur voor dynamische routering in residuale netwerken, die cosinus-incompatibiliteit tussen identiteits- en residuale feature-representaties gebruikt als een zelf-gecontroleerd overslaansignaal. CosineGate meet semantische redundantie via de Cosine Incompatibility Ratio (CIR), gedefinieerd als 1 - cos(x, F(x)), en gebruikt Gumbel-Softmax-relaxatie om per-sample, per-block-gating tijdens training mogelijk te maken. Een progressieve FLOPs-regulatieterm regelt het gemiddelde rekengebruik zonder de optimalisatie te destabiliseren. Op CIFAR-10 beslaat CosineGate de Pareto-grens van nauwkeurigheid-efficiëntie: een agressieve configuratie behaalt 89,9% nauwkeurigheid met 24,1% FLOPs-besparing, een gebalanceerde configuratie behaalt 91,3% nauwkeurigheid met 28,5% besparing op epoch 160, en een conservatieve configuratie bereikt een piek van 93,2% nauwkeurigheid met minimale rekeningreductie. Deze resultaten evenaren of overtreffen ResNet-20 (91,3%) terwijl de berekening wordt verminderd, zonder hulptoewijzing, distillatie of taakspecifieke heuristieken. Onze resultaten tonen aan dat eenvoudige geometrische maten van feature-incompatibiliteit een principiële en effectieve signaal bieden voor dynamische residuale routering.

English

Modern deep residual networks perform substantial redundant computation by evaluating all residual blocks for every input, even when identity mappings suffice. We introduce CosineGate, an end-to-end differentiable architecture for dynamic routing in residual networks that uses cosine incompatibility between identity and residual feature representations as a self-supervised skip signal. CosineGate measures semantic redundancy through the Cosine Incompatibility Ratio (CIR), defined as 1 - cos(x, F(x)), and uses Gumbel-Softmax relaxation to enable per-sample, per-block gating during training. A progressive FLOPs regularization term controls average compute usage without destabilizing optimization. On CIFAR-10, CosineGate spans the accuracy-efficiency Pareto frontier: an aggressive configuration achieves 89.9 percent accuracy with 24.1 percent FLOPs savings, a balanced configuration achieves 91.3 percent accuracy with 28.5 percent savings at epoch 160, and a conservative configuration reaches a peak of 93.2 percent accuracy with minimal compute reduction. These results match or exceed ResNet-20 (91.3 percent) while reducing computation, without auxiliary supervision, distillation, or task-specific heuristics. Our results demonstrate that simple geometric measures of feature incompatibility provide a principled and effective signal for dynamic residual routing.