KAN 대 MLP: 더 공정한 비교

KAN or MLP: A Fairer Comparison

July 23, 2024

저자: Runpeng Yu, Weihao Yu, Xinchao Wang

cs.AI

초록

본 논문은 새로운 방법론을 제안하지 않습니다. 대신, KAN과 MLP 모델을 머신러닝, 컴퓨터 비전, 오디오 처리, 자연어 처리, 그리고 기호식 표현 등 다양한 작업에 걸쳐 보다 공정하고 포괄적으로 비교합니다. 특히, 우리는 파라미터 수와 FLOPs를 통제하여 KAN과 MLP의 성능을 비교했습니다. 주요 관찰 결과는, 기호식 표현 작업을 제외하고는 일반적으로 MLP가 KAN보다 더 나은 성능을 보인다는 것입니다. 또한, KAN에 대한 ablation 연구를 수행한 결과, 기호식 표현에서의 KAN의 장점은 주로 B-spline 활성화 함수에서 비롯된다는 것을 발견했습니다. B-spline을 MLP에 적용했을 때, 기호식 표현 작업에서의 성능이 크게 향상되어 KAN을 능가하거나 비슷한 수준에 도달했습니다. 그러나 MLP가 이미 KAN보다 우수한 다른 작업에서는 B-spline이 MLP의 성능을 크게 향상시키지 못했습니다. 더불어, 표준 클래스-증가형 지속 학습 환경에서 KAN의 망각 문제가 MLP보다 더 심각하다는 것을 발견했는데, 이는 KAN 논문에서 보고된 결과와는 다릅니다. 이러한 결과가 KAN 및 기타 MLP 대안에 대한 향후 연구에 통찰을 제공하기를 바랍니다. 프로젝트 링크: https://github.com/yu-rp/KANbeFair

English

This paper does not introduce a novel method. Instead, it offers a fairer and more comprehensive comparison of KAN and MLP models across various tasks, including machine learning, computer vision, audio processing, natural language processing, and symbolic formula representation. Specifically, we control the number of parameters and FLOPs to compare the performance of KAN and MLP. Our main observation is that, except for symbolic formula representation tasks, MLP generally outperforms KAN. We also conduct ablation studies on KAN and find that its advantage in symbolic formula representation mainly stems from its B-spline activation function. When B-spline is applied to MLP, performance in symbolic formula representation significantly improves, surpassing or matching that of KAN. However, in other tasks where MLP already excels over KAN, B-spline does not substantially enhance MLP's performance. Furthermore, we find that KAN's forgetting issue is more severe than that of MLP in a standard class-incremental continual learning setting, which differs from the findings reported in the KAN paper. We hope these results provide insights for future research on KAN and other MLP alternatives. Project link: https://github.com/yu-rp/KANbeFair