Expertos Neuronales Aditivos: Expertos con Conmutación Contextual para la Aditividad Controlable de Modelos
Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity
February 11, 2026
Autores: Guangzhi Xiong, Sanchit Sinha, Aidong Zhang
cs.AI
Resumen
La disyuntiva entre interpretabilidad y precisión sigue siendo un desafío central en el aprendizaje automático. Los Modelos Aditivos Generalizados (GAM) estándar ofrecen atribuciones de características claras, pero a menudo se ven limitados por su naturaleza estrictamente aditiva, lo que puede restringir el rendimiento predictivo. La introducción de interacciones entre características puede aumentar la precisión, pero puede oscurecer las contribuciones individuales de cada característica. Para abordar estos problemas, proponemos Expertos Aditivos Neuronales (NAE), un marco novedoso que equilibra de manera fluida la interpretabilidad y la precisión. Los NAE emplean un marco de mezcla de expertos, aprendiendo múltiples redes especializadas por característica, mientras que un mecanismo de compuerta dinámica integra la información entre características, relajando así las rígidas restricciones aditivas. Además, proponemos técnicas de regularización dirigida para mitigar la varianza entre las predicciones de los expertos, facilitando una transición suave desde un modelo exclusivamente aditivo hacia uno que captura interacciones complejas de características, manteniendo al mismo tiempo la claridad en las atribuciones. Nuestro análisis teórico y los experimentos con datos sintéticos ilustran la flexibilidad del modelo, y evaluaciones exhaustivas en conjuntos de datos del mundo real confirman que los NAE logran un equilibrio óptimo entre la precisión predictiva y explicaciones transparentes a nivel de características. El código está disponible en https://github.com/Teddy-XiongGZ/NAE.
English
The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.