Especialistas Neurais Aditivos: Especialistas com Porteamento Contextual para Aditividade Controlável de Modelos

Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity

February 11, 2026

Autores: Guangzhi Xiong, Sanchit Sinha, Aidong Zhang

cs.AI

Resumo

O equilíbrio entre interpretabilidade e precisão permanece um desafio central no aprendizado de máquina. Os Modelos Aditivos Generalizados (GAMs) padrão oferecem atribuições de características claras, mas são frequentemente limitados por sua natureza estritamente aditiva, o que pode restringir o desempenho preditivo. A introdução de interações entre características pode aumentar a precisão, mas pode obscurecer as contribuições individuais das características. Para resolver essas questões, propomos os Especialistas Aditivos Neurais (NAEs), uma nova estrutura que equilibra perfeitamente interpretabilidade e precisão. Os NAEs empregam uma estrutura de mistura de especialistas, aprendendo múltiplas redes especializadas por característica, enquanto um mecanismo de portão dinâmico integra informações entre características, relaxando assim as restrições aditivas rígidas. Além disso, propomos técnicas de regularização direcionadas para mitigar a variância entre as previsões dos especialistas, facilitando uma transição suave de um modelo exclusivamente aditivo para um que captura interações complexas de características, mantendo a clareza nas atribuições. Nossa análise teórica e experimentos com dados sintéticos ilustram a flexibilidade do modelo, e avaliações extensas em conjuntos de dados do mundo real confirmam que os NAEs alcançam um equilíbrio ideal entre precisão preditiva e explicações transparentes em nível de característica. O código está disponível em https://github.com/Teddy-XiongGZ/NAE.

English

The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.