KAN of MLP: Een Eerlijkere Vergelijking
KAN or MLP: A Fairer Comparison
July 23, 2024
Auteurs: Runpeng Yu, Weihao Yu, Xinchao Wang
cs.AI
Samenvatting
Dit artikel introduceert geen nieuwe methode. In plaats daarvan biedt het een eerlijkere en uitgebreidere vergelijking van KAN- en MLP-modellen voor verschillende taken, waaronder machine learning, computer vision, audioverwerking, natuurlijke taalverwerking en symbolische formule-representatie. Specifiek controleren we het aantal parameters en FLOPs om de prestaties van KAN en MLP te vergelijken. Onze belangrijkste observatie is dat, met uitzondering van taken voor symbolische formule-representatie, MLP over het algemeen beter presteert dan KAN. We voeren ook ablatiestudies uit op KAN en ontdekken dat het voordeel in symbolische formule-representatie voornamelijk voortkomt uit de B-spline-activatiefunctie. Wanneer B-spline wordt toegepast op MLP, verbetert de prestaties in symbolische formule-representatie aanzienlijk, waardoor deze die van KAN overtreft of evenaart. Echter, in andere taken waar MLP al beter presteert dan KAN, verbetert B-spline de prestaties van MLP niet substantieel. Bovendien constateren we dat het vergeetprobleem van KAN ernstiger is dan dat van MLP in een standaard class-incremental continual learning-setting, wat afwijkt van de bevindingen die in het KAN-artikel worden gerapporteerd. We hopen dat deze resultaten inzichten bieden voor toekomstig onderzoek naar KAN en andere alternatieven voor MLP. Projectlink: https://github.com/yu-rp/KANbeFair
English
This paper does not introduce a novel method. Instead, it offers a fairer and
more comprehensive comparison of KAN and MLP models across various tasks,
including machine learning, computer vision, audio processing, natural language
processing, and symbolic formula representation. Specifically, we control the
number of parameters and FLOPs to compare the performance of KAN and MLP. Our
main observation is that, except for symbolic formula representation tasks, MLP
generally outperforms KAN. We also conduct ablation studies on KAN and find
that its advantage in symbolic formula representation mainly stems from its
B-spline activation function. When B-spline is applied to MLP, performance in
symbolic formula representation significantly improves, surpassing or matching
that of KAN. However, in other tasks where MLP already excels over KAN,
B-spline does not substantially enhance MLP's performance. Furthermore, we find
that KAN's forgetting issue is more severe than that of MLP in a standard
class-incremental continual learning setting, which differs from the findings
reported in the KAN paper. We hope these results provide insights for future
research on KAN and other MLP alternatives. Project link:
https://github.com/yu-rp/KANbeFair