MLP-KAN: Vereinigung von tiefer Repräsentation und Funktionslernen

MLP-KAN: Unifying Deep Representation and Function Learning

October 3, 2024

Autoren: Yunhong He, Yifeng Xie, Zhengqing Yuan, Lichao Sun

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte sowohl im Bereich des Repräsentationslernens als auch des Funktionslernens erhebliches Potenzial in verschiedenen Bereichen der künstlichen Intelligenz gezeigt. Die effektive Integration dieser Paradigmen stellt jedoch eine bedeutende Herausforderung dar, insbesondere in Fällen, in denen Benutzer manuell entscheiden müssen, ob ein Repräsentationslern- oder Funktionslernmodell basierend auf den Merkmalen des Datensatzes angewendet werden soll. Um dieses Problem anzugehen, stellen wir MLP-KAN vor, eine vereinheitlichte Methode, die darauf abzielt, die manuelle Modellauswahl überflüssig zu machen. Durch die Integration von Mehrschicht-Perzeptronen (MLPs) für das Repräsentationslernen und Kolmogorov-Arnold-Netzwerken (KANs) für das Funktionslernen innerhalb einer Mischung-von-Experten (MoE)-Architektur passt sich MLP-KAN dynamisch an die spezifischen Merkmale der jeweiligen Aufgabe an und gewährleistet optimale Leistung. Eingebettet in ein auf Transformer basierendes Framework erzielt unsere Arbeit bemerkenswerte Ergebnisse auf vier weit verbreiteten Datensätzen in verschiedenen Bereichen. Eine umfangreiche experimentelle Bewertung zeigt die überragende Vielseitigkeit auf und liefert eine konkurrenzfähige Leistung in Aufgaben des tiefen Repräsentations- und Funktionslernens. Diese Ergebnisse unterstreichen das Potenzial von MLP-KAN, den Modellauswahlprozess zu vereinfachen und eine umfassende, anpassungsfähige Lösung in verschiedenen Bereichen anzubieten. Unser Code und Gewichte sind verfügbar unter https://github.com/DLYuanGod/MLP-KAN.

English

Recent advancements in both representation learning and function learning have demonstrated substantial promise across diverse domains of artificial intelligence. However, the effective integration of these paradigms poses a significant challenge, particularly in cases where users must manually decide whether to apply a representation learning or function learning model based on dataset characteristics. To address this issue, we introduce MLP-KAN, a unified method designed to eliminate the need for manual model selection. By integrating Multi-Layer Perceptrons (MLPs) for representation learning and Kolmogorov-Arnold Networks (KANs) for function learning within a Mixture-of-Experts (MoE) architecture, MLP-KAN dynamically adapts to the specific characteristics of the task at hand, ensuring optimal performance. Embedded within a transformer-based framework, our work achieves remarkable results on four widely-used datasets across diverse domains. Extensive experimental evaluation demonstrates its superior versatility, delivering competitive performance across both deep representation and function learning tasks. These findings highlight the potential of MLP-KAN to simplify the model selection process, offering a comprehensive, adaptable solution across various domains. Our code and weights are available at https://github.com/DLYuanGod/MLP-KAN.