KAN или MLP: более справедливое сравнение

KAN or MLP: A Fairer Comparison

July 23, 2024

Авторы: Runpeng Yu, Weihao Yu, Xinchao Wang

cs.AI

Аннотация

Этот документ не представляет новый метод. Вместо этого он предлагает более справедливое и более всестороннее сравнение моделей KAN и MLP по различным задачам, включая машинное обучение, компьютерное зрение, обработку звука, обработку естественного языка и представление символьных формул. Конкретно, мы контролируем количество параметров и операций с плавающей запятой (FLOPs) для сравнения производительности KAN и MLP. Наш основной вывод состоит в том, что, за исключением задач представления символьных формул, MLP в целом превосходит KAN. Мы также проводим исследования абляции на KAN и обнаруживаем, что его преимущество в задачах представления символьных формул в основном происходит от его активационной функции B-сплайн. Когда B-сплайн применяется к MLP, производительность в представлении символьных формул значительно улучшается, превосходя или соответствуя производительности KAN. Однако в других задачах, где MLP уже превосходит KAN, B-сплайн не существенно улучшает производительность MLP. Кроме того, мы обнаруживаем, что проблема забывания у KAN более серьезна, чем у MLP в стандартной настройке непрерывного обучения с постепенным увеличением классов, что отличается от результатов, представленных в документе о KAN. Мы надеемся, что эти результаты предоставят понимание для будущих исследований по KAN и другим альтернативам MLP. Ссылка на проект: https://github.com/yu-rp/KANbeFair

English

This paper does not introduce a novel method. Instead, it offers a fairer and more comprehensive comparison of KAN and MLP models across various tasks, including machine learning, computer vision, audio processing, natural language processing, and symbolic formula representation. Specifically, we control the number of parameters and FLOPs to compare the performance of KAN and MLP. Our main observation is that, except for symbolic formula representation tasks, MLP generally outperforms KAN. We also conduct ablation studies on KAN and find that its advantage in symbolic formula representation mainly stems from its B-spline activation function. When B-spline is applied to MLP, performance in symbolic formula representation significantly improves, surpassing or matching that of KAN. However, in other tasks where MLP already excels over KAN, B-spline does not substantially enhance MLP's performance. Furthermore, we find that KAN's forgetting issue is more severe than that of MLP in a standard class-incremental continual learning setting, which differs from the findings reported in the KAN paper. We hope these results provide insights for future research on KAN and other MLP alternatives. Project link: https://github.com/yu-rp/KANbeFair