KAN ou MLP: Uma Comparação Mais Justa
KAN or MLP: A Fairer Comparison
July 23, 2024
Autores: Runpeng Yu, Weihao Yu, Xinchao Wang
cs.AI
Resumo
Este artigo não apresenta um método inovador. Em vez disso, oferece uma comparação mais justa e abrangente dos modelos KAN e MLP em várias tarefas, incluindo aprendizado de máquina, visão computacional, processamento de áudio, processamento de linguagem natural e representação de fórmulas simbólicas. Especificamente, controlamos o número de parâmetros e FLOPs para comparar o desempenho do KAN e do MLP. Nossa principal observação é que, exceto para tarefas de representação de fórmulas simbólicas, o MLP geralmente supera o KAN. Também realizamos estudos de ablação no KAN e descobrimos que sua vantagem em tarefas de representação de fórmulas simbólicas se deve principalmente à sua função de ativação B-spline. Quando a B-spline é aplicada ao MLP, o desempenho na representação de fórmulas simbólicas melhora significativamente, superando ou igualando o do KAN. No entanto, em outras tarefas em que o MLP já se destaca em relação ao KAN, a B-spline não melhora substancialmente o desempenho do MLP. Além disso, descobrimos que o problema de esquecimento do KAN é mais grave do que o do MLP em um ambiente padrão de aprendizado contínuo incremental de classes, o que difere das descobertas relatadas no artigo do KAN. Esperamos que esses resultados forneçam insights para pesquisas futuras sobre o KAN e outras alternativas ao MLP. Link do projeto: https://github.com/yu-rp/KANbeFair
English
This paper does not introduce a novel method. Instead, it offers a fairer and
more comprehensive comparison of KAN and MLP models across various tasks,
including machine learning, computer vision, audio processing, natural language
processing, and symbolic formula representation. Specifically, we control the
number of parameters and FLOPs to compare the performance of KAN and MLP. Our
main observation is that, except for symbolic formula representation tasks, MLP
generally outperforms KAN. We also conduct ablation studies on KAN and find
that its advantage in symbolic formula representation mainly stems from its
B-spline activation function. When B-spline is applied to MLP, performance in
symbolic formula representation significantly improves, surpassing or matching
that of KAN. However, in other tasks where MLP already excels over KAN,
B-spline does not substantially enhance MLP's performance. Furthermore, we find
that KAN's forgetting issue is more severe than that of MLP in a standard
class-incremental continual learning setting, which differs from the findings
reported in the KAN paper. We hope these results provide insights for future
research on KAN and other MLP alternatives. Project link:
https://github.com/yu-rp/KANbeFair