Neurale Additieve Experts: Context-afhankelijke Experts voor Beheerbare Model-additiviteit
Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity
February 11, 2026
Auteurs: Guangzhi Xiong, Sanchit Sinha, Aidong Zhang
cs.AI
Samenvatting
De afweging tussen interpreteerbaarheid en nauwkeurigheid blijft een kernuitdaging in machine learning. Standaard Gegeneraliseerde Additieve Modellen (GAM's) bieden duidelijke feature-attributies, maar worden vaak beperkt door hun strikt additieve karakter, wat de voorspellende prestaties kan beperken. Het introduceren van feature-interacties kan de nauwkeurigheid verhogen, maar kan de individuele feature-bijdragen vertroebelen. Om deze problemen aan te pakken, stellen wij Neural Additive Experts (NAE's) voor, een nieuw raamwerk dat naadloos een balans vindt tussen interpreteerbaarheid en nauwkeurigheid. NAE's gebruiken een 'mixture of experts'-raamwerk, waarbij meerdere gespecialiseerde netwerken per feature worden geleerd, terwijl een dynamisch gating-mechanisme informatie integreert tussen features, waardoor de rigide additieve beperkingen worden versoepeld. Verder stellen we gerichte regularisatietechnieken voor om de variantie tussen expertvoorspellingen te verminderen, wat een soepele overgang mogelijk maakt van een uitsluitend additief model naar een model dat complexe feature-interacties vastlegt, terwijl de helderheid van feature-attributies behouden blijft. Onze theoretische analyse en experimenten met synthetische data illustreren de flexibiliteit van het model, en uitgebreide evaluaties op real-world datasets bevestigen dat NAE's een optimale balans bereiken tussen voorspellende nauwkeurigheid en transparante, feature-niveau verklaringen. De code is beschikbaar op https://github.com/Teddy-XiongGZ/NAE.
English
The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.