KAN: Сети Колмогорова-Арнольда

KAN: Kolmogorov-Arnold Networks

April 30, 2024

Авторы: Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark

cs.AI

Аннотация

Вдохновленные теоремой представления Колмогорова-Арнольда, мы предлагаем сети Колмогорова-Арнольда (KAN) в качестве многообещающей альтернативы многослойным перцептронам (MLP). В то время как у MLP фиксированные функции активации на узлах ("нейронах"), у KAN на рёбрах ("весах") находятся обучаемые функции активации. У KAN вообще нет линейных весов — каждый параметр веса заменяется одномерной функцией, параметризованной как сплайн. Мы показываем, что эта кажущаяся простая изменение делает KAN более эффективными по точности и интерпретируемости, чем MLP. В плане точности, гораздо более компактные KAN могут достичь сравнимой или даже более высокой точности, чем гораздо более крупные MLP при подгонке данных и решении ДУ. Теоретически и эмпирически KAN обладают более быстрыми законами масштабирования нейронов, чем MLP. В плане интерпретируемости KAN могут быть интуитивно визуализированы и легко взаимодействовать с людьми. Через два примера в математике и физике показано, что KAN могут быть полезными партнёрами, помогающими ученым (по новой) открывать математические и физические законы. В заключение, KAN представляют собой многообещающие альтернативы для MLP, открывая возможности для дальнейшего улучшения современных моделей глубокого обучения, которые сильно зависят от MLP.

English

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.