신경 가법적 전문가: 제어 가능한 모델 가법성을 위한 문맥 기반 전문가 게이팅

Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity

February 11, 2026

저자: Guangzhi Xiong, Sanchit Sinha, Aidong Zhang

cs.AI

초록

해석 가능성과 정확성 간의 트레이드오프는 머신러닝의 핵심 과제로 남아있다. 표준 일반화 가법 모델(GAM)은 명확한 특징 기여도를 제공하지만, 엄격한 가법적 특성으로 인해 예측 성능이 제한되는 경우가 많다. 특징 상호작용을 도입하면 정확성을 높일 수 있지만, 개별 특징의 기여도를 불명확하게 만들 수 있다. 이러한 문제를 해결하기 위해 우리는 해석 가능성과 정확성을 원활하게 균형 잡는 새로운 프레임워크인 신경 가법 전문가(NAE) 모델을 제안한다. NAE는 전문가 혼합 프레임워크를 채택하여 특징별로 여러 전문 네트워크를 학습하는 동시에, 동적 게이팅 메커니즘을 통해 특징 간 정보를 통합함으로써 경직된 가법 제약을 완화한다. 더 나아가, 우리는 전문가 예측 간 분산을 완화하기 위한 표적 정규화 기법을 제안하여 순수 가법 모델에서 정교한 특징 상호작용을 포착하는 모델로의 부드러운 전환을 가능하게 하면서도 특징 기여도의 명확성을 유지한다. 합성 데이터에 대한 이론적 분석과 실험을 통해 모델의 유연성을 입증하였으며, 실제 데이터셋에 대한 포괄적 평가를 통해 NAE가 예측 정확성과 투명한 특징 수준 설명 간 최적의 균형을 달성함을 확인했다. 코드는 https://github.com/Teddy-XiongGZ/NAE에서 확인할 수 있다.

English

The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.