KAN: コルモゴロフ・アーノルドネットワーク

KAN: Kolmogorov-Arnold Networks

April 30, 2024

著者: Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark

cs.AI

要旨

コルモゴロフ-アーノルド表現定理に着想を得て、我々はマルチレイヤーパーセプトロン（MLP）の有望な代替案としてコルモゴロフ-アーノルドネットワーク（KAN）を提案する。MLPがノード（「ニューロン」）上に固定された活性化関数を持つ一方で、KANはエッジ（「重み」）上に学習可能な活性化関数を持つ。KANには線形重みが全く存在せず、全ての重みパラメータはスプラインとしてパラメータ化された単変量関数に置き換えられる。この一見単純な変更により、KANは精度と解釈可能性の点でMLPを凌駕することを示す。精度に関しては、はるかに小規模なKANが、データフィッティングや偏微分方程式（PDE）の解法において、はるかに大規模なMLPと同等またはそれ以上の精度を達成できる。理論的にも経験的にも、KANはMLPよりも高速なニューラルスケーリング則を持つ。解釈可能性に関しては、KANは直感的に可視化でき、人間のユーザーと容易に相互作用できる。数学と物理学における2つの例を通じて、KANが科学者が数学的・物理的法則を（再）発見するのを助ける有用な協力者であることが示される。要約すると、KANはMLPの有望な代替案であり、MLPに大きく依存する今日の深層学習モデルをさらに改善する機会を開くものである。

English

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.