KAN ou MLP : Une comparaison plus équitable

KAN or MLP: A Fairer Comparison

July 23, 2024

Auteurs: Runpeng Yu, Weihao Yu, Xinchao Wang

cs.AI

Résumé

Cet article n'introduit pas une nouvelle méthode. Il propose plutôt une comparaison plus équitable et plus exhaustive des modèles KAN et MLP à travers diverses tâches, incluant l'apprentissage automatique, la vision par ordinateur, le traitement audio, le traitement du langage naturel et la représentation de formules symboliques. Plus précisément, nous contrôlons le nombre de paramètres et les FLOPs pour comparer les performances de KAN et MLP. Notre observation principale est que, à l'exception des tâches de représentation de formules symboliques, MLP surpasse généralement KAN. Nous menons également des études d'ablation sur KAN et constatons que son avantage dans la représentation de formules symboliques provient principalement de sa fonction d'activation B-spline. Lorsque B-spline est appliquée à MLP, les performances en représentation de formules symboliques s'améliorent significativement, dépassant ou égalant celles de KAN. Cependant, dans d'autres tâches où MLP surpasse déjà KAN, B-spline n'améliore pas substantiellement les performances de MLP. Par ailleurs, nous constatons que le problème d'oubli de KAN est plus sévère que celui de MLP dans un cadre standard d'apprentissage continu par classes incrémentales, ce qui diffère des résultats rapportés dans l'article sur KAN. Nous espérons que ces résultats fourniront des insights pour les recherches futures sur KAN et d'autres alternatives à MLP. Lien du projet : https://github.com/yu-rp/KANbeFair

English

This paper does not introduce a novel method. Instead, it offers a fairer and more comprehensive comparison of KAN and MLP models across various tasks, including machine learning, computer vision, audio processing, natural language processing, and symbolic formula representation. Specifically, we control the number of parameters and FLOPs to compare the performance of KAN and MLP. Our main observation is that, except for symbolic formula representation tasks, MLP generally outperforms KAN. We also conduct ablation studies on KAN and find that its advantage in symbolic formula representation mainly stems from its B-spline activation function. When B-spline is applied to MLP, performance in symbolic formula representation significantly improves, surpassing or matching that of KAN. However, in other tasks where MLP already excels over KAN, B-spline does not substantially enhance MLP's performance. Furthermore, we find that KAN's forgetting issue is more severe than that of MLP in a standard class-incremental continual learning setting, which differs from the findings reported in the KAN paper. We hope these results provide insights for future research on KAN and other MLP alternatives. Project link: https://github.com/yu-rp/KANbeFair