KAN: Redes de Kolmogorov-Arnold

KAN: Kolmogorov-Arnold Networks

April 30, 2024

Autores: Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark

cs.AI

Resumen

Inspirados por el teorema de representación de Kolmogorov-Arnold, proponemos las Redes de Kolmogorov-Arnold (KANs) como alternativas prometedoras a los Perceptrones Multicapa (MLPs). Mientras que los MLPs tienen funciones de activación fijas en los nodos ("neuronas"), las KANs tienen funciones de activación aprendibles en las aristas ("pesos"). Las KANs no tienen pesos lineales en absoluto: cada parámetro de peso es reemplazado por una función univariada parametrizada como un spline. Demostramos que este cambio aparentemente simple hace que las KANs superen a los MLPs en términos de precisión e interpretabilidad. En cuanto a la precisión, KANs mucho más pequeñas pueden lograr una precisión comparable o mejor que MLPs mucho más grandes en ajuste de datos y resolución de EDPs. Teórica y empíricamente, las KANs poseen leyes de escalado neuronal más rápidas que los MLPs. En cuanto a la interpretabilidad, las KANs pueden visualizarse de manera intuitiva y pueden interactuar fácilmente con usuarios humanos. A través de dos ejemplos en matemáticas y física, se muestra que las KANs son colaboradoras útiles que ayudan a los científicos a (re)descubrir leyes matemáticas y físicas. En resumen, las KANs son alternativas prometedoras para los MLPs, abriendo oportunidades para mejorar aún más los modelos de aprendizaje profundo actuales que dependen en gran medida de los MLPs.

English

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.