KANとMLP：より公平な比較

KAN or MLP: A Fairer Comparison

July 23, 2024

著者: Runpeng Yu, Weihao Yu, Xinchao Wang

cs.AI

要旨

本論文は新規手法を提案するものではない。その代わりに、KANとMLPモデルを機械学習、コンピュータビジョン、音声処理、自然言語処理、および数式表現といった様々なタスクにおいて、より公平かつ包括的に比較する。具体的には、パラメータ数とFLOPsを制御し、KANとMLPの性能を比較した。主な観察結果として、数式表現タスクを除き、MLPが一般的にKANを上回ることがわかった。また、KANに関するアブレーション研究を行い、数式表現におけるKANの優位性が主にB-spline活性化関数に起因することを明らかにした。B-splineをMLPに適用すると、数式表現における性能が大幅に向上し、KANを上回るか同等の結果を示した。しかし、MLPが既にKANを上回っている他のタスクでは、B-splineはMLPの性能を大幅に向上させなかった。さらに、標準的なクラス増分継続学習設定において、KANの忘却問題がMLPよりも深刻であることが判明し、これはKANの論文で報告された結果とは異なる。これらの結果が、KANや他のMLP代替手法に関する今後の研究に示唆を与えることを期待する。プロジェクトリンク：https://github.com/yu-rp/KANbeFair

English

This paper does not introduce a novel method. Instead, it offers a fairer and more comprehensive comparison of KAN and MLP models across various tasks, including machine learning, computer vision, audio processing, natural language processing, and symbolic formula representation. Specifically, we control the number of parameters and FLOPs to compare the performance of KAN and MLP. Our main observation is that, except for symbolic formula representation tasks, MLP generally outperforms KAN. We also conduct ablation studies on KAN and find that its advantage in symbolic formula representation mainly stems from its B-spline activation function. When B-spline is applied to MLP, performance in symbolic formula representation significantly improves, surpassing or matching that of KAN. However, in other tasks where MLP already excels over KAN, B-spline does not substantially enhance MLP's performance. Furthermore, we find that KAN's forgetting issue is more severe than that of MLP in a standard class-incremental continual learning setting, which differs from the findings reported in the KAN paper. We hope these results provide insights for future research on KAN and other MLP alternatives. Project link: https://github.com/yu-rp/KANbeFair