KNN oder MLP: Ein fairer Vergleich

KAN or MLP: A Fairer Comparison

July 23, 2024

Autoren: Runpeng Yu, Weihao Yu, Xinchao Wang

cs.AI

Zusammenfassung

Dieses Paper stellt keine neue Methode vor. Stattdessen bietet es einen faireren und umfassenderen Vergleich von KAN- und MLP-Modellen über verschiedene Aufgaben hinweg, einschließlich maschinelles Lernen, Computer Vision, Audiobearbeitung, natürliche Sprachverarbeitung und symbolische Formelrepräsentation. Spezifisch kontrollieren wir die Anzahl der Parameter und FLOPs, um die Leistung von KAN und MLP zu vergleichen. Unsere Hauptbeobachtung ist, dass MLP im Allgemeinen außer bei symbolischer Formelrepräsentation KAN übertrifft. Wir führen auch Ablationsstudien an KAN durch und stellen fest, dass sein Vorteil bei symbolischer Formelrepräsentation hauptsächlich von seiner B-Spline-Aktivierungsfunktion herrührt. Wenn B-Spline auf MLP angewendet wird, verbessert sich die Leistung bei symbolischer Formelrepräsentation signifikant und übertrifft oder entspricht der von KAN. Jedoch verbessert B-Spline in anderen Aufgaben, in denen MLP bereits besser als KAN ist, die Leistung von MLP nicht wesentlich. Darüber hinaus stellen wir fest, dass das Vergessen-Problem von KAN in einem standardmäßigen inkrementellen kontinuierlichen Lernszenario schwerwiegender ist als das von MLP, was sich von den Ergebnissen im KAN-Papier unterscheidet. Wir hoffen, dass diese Ergebnisse Einblicke für zukünftige Forschungen zu KAN und anderen MLP-Alternativen bieten. Projektlink: https://github.com/yu-rp/KANbeFair

English

This paper does not introduce a novel method. Instead, it offers a fairer and more comprehensive comparison of KAN and MLP models across various tasks, including machine learning, computer vision, audio processing, natural language processing, and symbolic formula representation. Specifically, we control the number of parameters and FLOPs to compare the performance of KAN and MLP. Our main observation is that, except for symbolic formula representation tasks, MLP generally outperforms KAN. We also conduct ablation studies on KAN and find that its advantage in symbolic formula representation mainly stems from its B-spline activation function. When B-spline is applied to MLP, performance in symbolic formula representation significantly improves, surpassing or matching that of KAN. However, in other tasks where MLP already excels over KAN, B-spline does not substantially enhance MLP's performance. Furthermore, we find that KAN's forgetting issue is more severe than that of MLP in a standard class-incremental continual learning setting, which differs from the findings reported in the KAN paper. We hope these results provide insights for future research on KAN and other MLP alternatives. Project link: https://github.com/yu-rp/KANbeFair