Neuronale Additive Experten: Kontextgesteuerte Experten für steuerbare Modelladditivität
Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity
February 11, 2026
papers.authors: Guangzhi Xiong, Sanchit Sinha, Aidong Zhang
cs.AI
papers.abstract
Der Kompromiss zwischen Interpretierbarkeit und Genauigkeit bleibt eine zentrale Herausforderung im maschinellen Lernen. Standardmäßige Generalisierte Additive Modelle (GAMs) bieten klare Merkmalszuordnungen, sind jedoch oft durch ihre streng additive Natur eingeschränkt, was die Vorhersageleistung beeinträchtigen kann. Die Einführung von Merkmalsinteraktionen kann die Genauigkeit steigern, kann jedoch die Beiträge einzelner Merkmale verschleiern. Um diese Probleme zu adressieren, schlagen wir Neuronale Additive Experten (NAEs) vor, einen neuartigen Rahmen, der Interpretierbarkeit und Genauigkeit nahtlos ausbalanciert. NAEs verwenden ein Mixture-of-Experts-Framework, das mehrere spezialisierte Netzwerke pro Merkmal lernt, während ein dynamischer Gating-Mechanismus Informationen über Merkmale hinweg integriert und dadurch starre additive Einschränkungen lockert. Darüber hinaus schlagen wir gezielte Regularisierungstechniken vor, um die Varianz zwischen Expertenvorhersagen zu reduzieren und so einen sanften Übergang von einem ausschließlich additiven Modell zu einem Modell zu ermöglichen, das komplexe Merkmalsinteraktionen erfasst und gleichzeitig die Klarheit der Merkmalszuordnungen beibehält. Unsere theoretische Analyse und Experimente mit synthetischen Daten veranschaulichen die Flexibilität des Modells, und umfangreiche Auswertungen auf realen Datensätzen bestätigen, dass NAEs eine optimale Balance zwischen Vorhersagegenauigkeit und transparenten, merkmalsspezifischen Erklärungen erreichen. Der Code ist verfügbar unter https://github.com/Teddy-XiongGZ/NAE.
English
The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.