KAN: Kolmogorov-Arnold-Netzwerke

KAN: Kolmogorov-Arnold Networks

April 30, 2024

Autoren: Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark

cs.AI

Zusammenfassung

Angeregt durch den Kolmogorov-Arnold Darstellungssatz schlagen wir Kolmogorov-Arnold Netzwerke (KANs) als vielversprechende Alternativen zu Mehrschicht-Perzeptronen (MLPs) vor. Während MLPs feste Aktivierungsfunktionen auf Knoten ("Neuronen") haben, verfügen KANs über erlernbare Aktivierungsfunktionen auf Kanten ("Gewichten"). KANs haben überhaupt keine linearen Gewichte - jeder Gewichtsparameter wird durch eine univariate Funktion ersetzt, die als Spline parametrisiert ist. Wir zeigen, dass diese scheinbar einfache Änderung dazu führt, dass KANs MLPs in Bezug auf Genauigkeit und Interpretierbarkeit übertreffen. Hinsichtlich der Genauigkeit können wesentlich kleinere KANs vergleichbare oder bessere Genauigkeit als wesentlich größere MLPs bei der Datenanpassung und der Lösung partieller Differentialgleichungen erreichen. Theoretisch und empirisch weisen KANs schnellere neuronale Skalierungsgesetze als MLPs auf. In Bezug auf die Interpretierbarkeit können KANs intuitiv visualisiert werden und lassen sich leicht mit menschlichen Benutzern interagieren. Anhand von zwei Beispielen aus Mathematik und Physik wird gezeigt, dass KANs nützliche Partner sind, die Wissenschaftler dabei unterstützen, mathematische und physikalische Gesetze (neu) zu entdecken. Zusammenfassend sind KANs vielversprechende Alternativen zu MLPs, die Möglichkeiten für die weitere Verbesserung heutiger Deep-Learning-Modelle eröffnen, die stark auf MLPs angewiesen sind.

English

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.