Нейронные аддитивные эксперты: контекстно-управляемые эксперты для контролируемой аддитивности моделей
Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity
February 11, 2026
Авторы: Guangzhi Xiong, Sanchit Sinha, Aidong Zhang
cs.AI
Аннотация
Компромисс между интерпретируемостью и точностью остается одной из ключевых проблем машинного обучения. Стандартные обобщенные аддитивные модели (GAM) обеспечивают ясные атрибуции признаков, но часто ограничены своим строго аддитивным характером, что может снижать прогнозную производительность. Введение взаимодействий признаков способно повысить точность, но может затруднить интерпретацию вклада отдельных признаков. Для решения этих проблем мы предлагаем Нейронные Аддитивные Эксперты (NAE) — новую архитектуру, которая обеспечивает сбалансированное сочетание интерпретируемости и точности. NAE используют механизм смеси экспертов, обучая несколько специализированных сетей для каждого признака, в то время как динамический механизм коммутации интегрирует информацию по признакам, ослабляя жесткие аддитивные ограничения. Кроме того, мы предлагаем целевые методы регуляризации для снижения дисперсии предсказаний экспертов, обеспечивая плавный переход от чисто аддитивной модели к модели, учитывающей сложные взаимодействия признаков, при сохранении ясности атрибуций. Наш теоретический анализ и эксперименты на синтетических данных демонстрируют гибкость модели, а масштабные оценки на реальных наборах данных подтверждают, что NAE достигают оптимального баланса между прогнозной точностью и прозрачными объяснениями на уровне признаков. Код доступен по адресу https://github.com/Teddy-XiongGZ/NAE.
English
The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.