KAN o MLP: Una Comparación Más Justa

KAN or MLP: A Fairer Comparison

July 23, 2024

Autores: Runpeng Yu, Weihao Yu, Xinchao Wang

cs.AI

Resumen

Este artículo no introduce un método novedoso. En su lugar, ofrece una comparación más justa y completa de los modelos KAN y MLP en diversas tareas, que incluyen aprendizaje automático, visión por computadora, procesamiento de audio, procesamiento de lenguaje natural y representación de fórmulas simbólicas. Específicamente, controlamos el número de parámetros y FLOPs para comparar el rendimiento de KAN y MLP. Nuestra principal observación es que, excepto en tareas de representación de fórmulas simbólicas, MLP generalmente supera a KAN. También realizamos estudios de ablación en KAN y encontramos que su ventaja en la representación de fórmulas simbólicas se debe principalmente a su función de activación B-spline. Cuando B-spline se aplica a MLP, el rendimiento en la representación de fórmulas simbólicas mejora significativamente, superando o igualando al de KAN. Sin embargo, en otras tareas donde MLP ya supera a KAN, B-spline no mejora sustancialmente el rendimiento de MLP. Además, encontramos que el problema de olvido de KAN es más grave que el de MLP en un entorno estándar de aprendizaje continuo incremental de clases, lo cual difiere de los hallazgos reportados en el artículo de KAN. Esperamos que estos resultados brinden ideas para investigaciones futuras sobre KAN y otras alternativas a MLP. Enlace del proyecto: https://github.com/yu-rp/KANbeFair

English

This paper does not introduce a novel method. Instead, it offers a fairer and more comprehensive comparison of KAN and MLP models across various tasks, including machine learning, computer vision, audio processing, natural language processing, and symbolic formula representation. Specifically, we control the number of parameters and FLOPs to compare the performance of KAN and MLP. Our main observation is that, except for symbolic formula representation tasks, MLP generally outperforms KAN. We also conduct ablation studies on KAN and find that its advantage in symbolic formula representation mainly stems from its B-spline activation function. When B-spline is applied to MLP, performance in symbolic formula representation significantly improves, surpassing or matching that of KAN. However, in other tasks where MLP already excels over KAN, B-spline does not substantially enhance MLP's performance. Furthermore, we find that KAN's forgetting issue is more severe than that of MLP in a standard class-incremental continual learning setting, which differs from the findings reported in the KAN paper. We hope these results provide insights for future research on KAN and other MLP alternatives. Project link: https://github.com/yu-rp/KANbeFair