Experts Neuronaux Additifs : Experts à Porte Contextuelle pour une Additivité Contrôlable des Modèles
Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity
February 11, 2026
papers.authors: Guangzhi Xiong, Sanchit Sinha, Aidong Zhang
cs.AI
papers.abstract
Le compromis entre interprétabilité et précision demeure un défi fondamental en apprentissage automatique. Les modèles additifs généralisés (GAM) standards offrent des attributions de caractéristiques claires mais sont souvent limités par leur nature strictement additive, ce qui peut restreindre les performances prédictives. L'introduction d'interactions entre caractéristiques peut améliorer la précision mais risque d'obscurcir les contributions individuelles des caractéristiques. Pour résoudre ces problèmes, nous proposons les Neural Additive Experts (NAE), un nouveau cadre qui équilibre harmonieusement interprétabilité et précision. Les NAE utilisent un cadre de mélange d'experts, apprenant plusieurs réseaux spécialisés par caractéristique, tandis qu'un mécanisme de gating dynamique intègre l'information entre les caractéristiques, relaxant ainsi les contraintes additives rigides. De plus, nous proposons des techniques de régularisation ciblées pour atténuer la variance entre les prédictions des experts, facilitant une transition fluide d'un modèle exclusivement additif vers un modèle capturant des interactions complexes entre caractéristiques tout en préservant la clarté des attributions. Notre analyse théorique et nos expériences sur données synthétiques illustrent la flexibilité du modèle, et des évaluations approfondies sur des jeux de données réels confirment que les NAE atteignent un équilibre optimal entre précision prédictive et explications transparentes au niveau des caractéristiques. Le code est disponible à l'adresse https://github.com/Teddy-XiongGZ/NAE.
English
The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.