KAN: 콜모고로프-아르놀드 네트워크

KAN: Kolmogorov-Arnold Networks

April 30, 2024

저자: Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark

cs.AI

초록

콜모고로프-아르놀드 표현 정리에서 영감을 받아, 우리는 다층 퍼셉트론(MLP)의 유망한 대안으로 콜모고로프-아르놀드 네트워크(KANs)를 제안한다. MLP는 노드("뉴런")에 고정된 활성화 함수를 사용하는 반면, KANs는 엣지("가중치")에 학습 가능한 활성화 함수를 갖는다. KANs는 선형 가중치를 전혀 사용하지 않으며, 모든 가중치 매개변수는 스플라인으로 매개변수화된 단변수 함수로 대체된다. 이렇게 간단해 보이는 변화가 KANs가 MLP보다 정확도와 해석 가능성 면에서 우수한 성능을 보이도록 만든다는 것을 보여준다. 정확도 측면에서, 훨씬 작은 KANs가 데이터 피팅과 편미분 방정식(PDE) 해결에서 훨씬 더 큰 MLP와 비슷하거나 더 나은 정확도를 달성할 수 있다. 이론적으로 그리고 경험적으로, KANs는 MLP보다 더 빠른 신경망 스케일링 법칙을 갖는다. 해석 가능성 측면에서, KANs는 직관적으로 시각화될 수 있으며 인간 사용자와 쉽게 상호작용할 수 있다. 수학과 물리학의 두 가지 예를 통해, KANs가 과학자들이 수학적 및 물리적 법칙을 (재)발견하는 데 유용한 협력자임을 보여준다. 요약하면, KANs는 MLP에 크게 의존하는 오늘날의 딥러닝 모델을 더욱 개선할 수 있는 기회를 열어주는 유망한 대안이다.

English

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.