KAN: Kolmogorov-Arnold Netwerken

Samenvatting

Geïnspireerd door de stelling van Kolmogorov-Arnold, stellen we Kolmogorov-Arnold Networks (KANs) voor als veelbelovende alternatieven voor Multi-Layer Perceptrons (MLPs). Terwijl MLPs vaste activatiefuncties op knooppunten ("neuronen") hebben, beschikken KANs over leerbare activatiefuncties op verbindingen ("gewichten"). KANs hebben helemaal geen lineaire gewichten — elke gewichtsparameter wordt vervangen door een univariate functie geparametriseerd als een spline. We laten zien dat deze ogenschijnlijk eenvoudige verandering ervoor zorgt dat KANs MLPs overtreffen op het gebied van nauwkeurigheid en interpreteerbaarheid. Wat betreft nauwkeurigheid kunnen veel kleinere KANs vergelijkbare of betere prestaties behalen dan veel grotere MLPs bij het fitten van data en het oplossen van partiële differentiaalvergelijkingen. Theoretisch en empirisch hebben KANs snellere neurale schaalwetten dan MLPs. Op het gebied van interpreteerbaarheid kunnen KANs intuïtief worden gevisualiseerd en eenvoudig interacteren met menselijke gebruikers. Aan de hand van twee voorbeelden uit de wiskunde en natuurkunde wordt aangetoond dat KANs nuttige samenwerkingspartners zijn die wetenschappers helpen bij het (her)ontdekken van wiskundige en natuurkundige wetten. Kortom, KANs zijn veelbelovende alternatieven voor MLPs en bieden mogelijkheden om de huidige deep learning-modellen, die sterk afhankelijk zijn van MLPs, verder te verbeteren.

English

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.

KAN: Kolmogorov-Arnold Netwerken

KAN: Kolmogorov-Arnold Networks

Samenvatting

Support