KAN: Reti di Kolmogorov-Arnold

KAN: Kolmogorov-Arnold Networks

April 30, 2024

Autori: Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark

cs.AI

Abstract

Ispirati dal teorema di rappresentazione di Kolmogorov-Arnold, proponiamo le Reti di Kolmogorov-Arnold (KANs) come alternative promettenti ai Multi-Layer Perceptron (MLP). Mentre gli MLP hanno funzioni di attivazione fisse sui nodi ("neuroni"), le KANs hanno funzioni di attivazione apprendibili sugli archi ("pesi"). Le KANs non hanno affatto pesi lineari: ogni parametro di peso è sostituito da una funzione univariata parametrizzata come spline. Dimostriamo che questo cambiamento apparentemente semplice rende le KANs superiori agli MLP in termini di accuratezza e interpretabilità. Per quanto riguarda l'accuratezza, KANs molto più piccole possono raggiungere un'accuratezza comparabile o migliore rispetto a MLP molto più grandi nell'adattamento ai dati e nella risoluzione di equazioni differenziali alle derivate parziali (PDE). Teoricamente ed empiricamente, le KANs possiedono leggi di scala neurale più veloci rispetto agli MLP. Per quanto riguarda l'interpretabilità, le KANs possono essere visualizzate in modo intuitivo e possono interagire facilmente con gli utenti umani. Attraverso due esempi in matematica e fisica, le KANs si dimostrano utili collaboratrici che aiutano gli scienziati a (ri)scoprire leggi matematiche e fisiche. In sintesi, le KANs sono alternative promettenti agli MLP, aprendo opportunità per migliorare ulteriormente i modelli di deep learning odierni che si basano pesantemente sugli MLP.

English

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.