ニューラル加法専門家：制御可能なモデル加法性のための文脈ゲート専門家

Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity

February 11, 2026

著者: Guangzhi Xiong, Sanchit Sinha, Aidong Zhang

cs.AI

要旨

解釈可能性と精度のトレードオフは、機械学習における核心的な課題であり続けている。標準的な一般化加法モデル（GAM）は明確な特徴量への帰属分析を提供するが、厳密に加法的な性質によって制約されるため、予測性能が限定されがちである。特徴量間の交互作用を導入すれば精度を向上させられるが、個々の特徴量の寄与が不明確になる可能性がある。これらの課題を解決するため、我々は解釈可能性と精度をシームレスに両立させる新しいフレームワークであるNeural Additive Experts（NAE）を提案する。NAEはエキスパートの混合フレームワークを採用し、各特徴量に対して複数の専門的なネットワークを学習する。同時に、動的なゲーティング機構が特徴量間の情報を統合し、これにより厳格な加法的制約が緩和される。さらに、エキスパート間の予測の分散を抑制し、特徴量の帰属を明瞭に保ちつつ、複雑な特徴量間の交互作用を捉えるモデルへと、純粋な加法モデルから滑らかに移行させることを可能にするための、標的正則化手法を提案する。合成データを用いた理論分析と実験は本モデルの柔軟性を実証し、実世界のデータセットにおける広範な評価により、NAEが予測精度と特徴量レベルの透明性の高い説明性との間で最適なバランスを達成することを確認した。コードはhttps://github.com/Teddy-XiongGZ/NAE で公開されている。

English

The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.