KAN : Réseaux de Kolmogorov-Arnold

KAN: Kolmogorov-Arnold Networks

April 30, 2024

Auteurs: Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark

cs.AI

Résumé

Inspirés par le théorème de représentation de Kolmogorov-Arnold, nous proposons les Réseaux de Kolmogorov-Arnold (KANs) comme alternatives prometteuses aux Perceptrons Multicouches (MLPs). Alors que les MLPs possèdent des fonctions d'activation fixes sur les nœuds ("neurones"), les KANs ont des fonctions d'activation apprenables sur les arêtes ("poids"). Les KANs n'ont aucun poids linéaire — chaque paramètre de poids est remplacé par une fonction univariée paramétrée comme une spline. Nous montrons que ce changement apparemment simple permet aux KANs de surpasser les MLPs en termes de précision et d'interprétabilité. Pour la précision, des KANs beaucoup plus petits peuvent atteindre une précision comparable ou supérieure à celle de MLPs beaucoup plus grands dans l'ajustement de données et la résolution d'équations aux dérivées partielles. Théoriquement et empiriquement, les KANs possèdent des lois d'échelle neuronale plus rapides que les MLPs. Pour l'interprétabilité, les KANs peuvent être visualisés de manière intuitive et interagir facilement avec les utilisateurs humains. À travers deux exemples en mathématiques et en physique, les KANs se révèlent être des collaborateurs utiles aidant les scientifiques à (re)découvrir des lois mathématiques et physiques. En résumé, les KANs sont des alternatives prometteuses aux MLPs, ouvrant des opportunités pour améliorer davantage les modèles d'apprentissage profond actuels qui reposent fortement sur les MLPs.

English

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.