Esperti Neurali Additivi: Esperti a Cancello Contestuale per l'Additività Controllabile del Modello
Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity
February 11, 2026
Autori: Guangzhi Xiong, Sanchit Sinha, Aidong Zhang
cs.AI
Abstract
Il compromesso tra interpretabilità e accuratezza rimane una sfida fondamentale nell'apprendimento automatico. I Modelli Additivi Generalizzati (GAM) standard offrono attribuzioni chiare delle feature, ma sono spesso limitati dalla loro natura strettamente additiva, che può ridurre le prestazioni predittive. L'introduzione di interazioni tra feature può aumentare l'accuratezza, ma rischia di offuscare il contributo individuale di ciascuna feature. Per affrontare questi problemi, proponiamo Neural Additive Experts (NAE), un nuovo framework che bilancia armoniosamente interpretabilità e accuratezza. Gli NAE utilizzano un framework di mixture of experts, apprendendo reti specializzate multiple per ogni feature, mentre un meccanismo di gating dinamico integra le informazioni tra le feature, rilassando così i rigidi vincoli additivi. Inoltre, proponiamo tecniche di regolarizzazione mirata per mitigare la varianza tra le previsioni degli esperti, facilitando una transizione graduale da un modello esclusivamente additivo a uno che cattura interazioni complesse tra feature, mantenendo al contempo chiarezza nelle attribuzioni. La nostra analisi teorica e gli esperimenti su dati sintetici illustrano la flessibilità del modello, e valutazioni estensive su dataset reali confermano che gli NAE raggiungono un equilibrio ottimale tra accuratezza predittiva e spiegazioni trasparenti a livello di feature. Il codice è disponibile all'indirizzo https://github.com/Teddy-XiongGZ/NAE.
English
The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.