KAN o MLP: un confronto più equo
KAN or MLP: A Fairer Comparison
July 23, 2024
Autori: Runpeng Yu, Weihao Yu, Xinchao Wang
cs.AI
Abstract
Questo articolo non introduce un nuovo metodo. Piuttosto, offre un confronto più equo e completo tra i modelli KAN e MLP in vari ambiti, tra cui apprendimento automatico, visione artificiale, elaborazione audio, elaborazione del linguaggio naturale e rappresentazione di formule simboliche. In particolare, controlliamo il numero di parametri e le FLOP per confrontare le prestazioni di KAN e MLP. La nostra osservazione principale è che, ad eccezione dei compiti di rappresentazione di formule simboliche, MLP generalmente supera KAN. Abbiamo anche condotto studi di ablazione su KAN e scoperto che il suo vantaggio nella rappresentazione di formule simboliche deriva principalmente dalla sua funzione di attivazione B-spline. Quando la B-spline viene applicata a MLP, le prestazioni nella rappresentazione di formule simboliche migliorano significativamente, superando o eguagliando quelle di KAN. Tuttavia, in altri compiti in cui MLP già eccelle rispetto a KAN, la B-spline non migliora sostanzialmente le prestazioni di MLP. Inoltre, abbiamo riscontrato che il problema di dimenticanza di KAN è più grave rispetto a quello di MLP in un contesto standard di apprendimento continuo incrementale per classe, il che differisce dai risultati riportati nell'articolo su KAN. Speriamo che questi risultati forniscano spunti per future ricerche su KAN e altre alternative a MLP. Link del progetto: https://github.com/yu-rp/KANbeFair
English
This paper does not introduce a novel method. Instead, it offers a fairer and
more comprehensive comparison of KAN and MLP models across various tasks,
including machine learning, computer vision, audio processing, natural language
processing, and symbolic formula representation. Specifically, we control the
number of parameters and FLOPs to compare the performance of KAN and MLP. Our
main observation is that, except for symbolic formula representation tasks, MLP
generally outperforms KAN. We also conduct ablation studies on KAN and find
that its advantage in symbolic formula representation mainly stems from its
B-spline activation function. When B-spline is applied to MLP, performance in
symbolic formula representation significantly improves, surpassing or matching
that of KAN. However, in other tasks where MLP already excels over KAN,
B-spline does not substantially enhance MLP's performance. Furthermore, we find
that KAN's forgetting issue is more severe than that of MLP in a standard
class-incremental continual learning setting, which differs from the findings
reported in the KAN paper. We hope these results provide insights for future
research on KAN and other MLP alternatives. Project link:
https://github.com/yu-rp/KANbeFair