Kann Mamba lernen, wie man lernt? Eine vergleichende Studie zu In-Context-Learning-Aufgaben

Can Mamba Learn How to Learn? A Comparative Study on In-Context Learning Tasks

February 6, 2024

Autoren: Jongho Park, Jaeseung Park, Zheyang Xiong, Nayoung Lee, Jaewoong Cho, Samet Oymak, Kangwook Lee, Dimitris Papailiopoulos

cs.AI

Zusammenfassung

State-Space-Modelle (SSMs), wie beispielsweise Mamba Gu & Dao (2034), wurden als Alternativen zu Transformer-Netzwerken im Bereich der Sprachmodellierung vorgeschlagen. Sie integrieren Gating-Mechanismen, Faltungen und inputabhängige Token-Auswahl, um die quadratischen Kosten der Multi-Head-Attention zu reduzieren. Obwohl SSMs eine wettbewerbsfähige Leistung zeigen, sind ihre Fähigkeiten im Bereich des In-Context-Learning (ICL) – eine bemerkenswerte emergente Eigenschaft moderner Sprachmodelle, die die Ausführung von Aufgaben ohne Parameteroptimierung ermöglicht – im Vergleich zu Transformern noch unzureichend erforscht. In dieser Studie bewerten wir die ICL-Leistung von SSMs, insbesondere von Mamba, im Vergleich zu Transformer-Modellen über verschiedene Aufgaben hinweg. Unsere Ergebnisse zeigen, dass SSMs in standardmäßigen Regressions-ICL-Aufgaben vergleichbar mit Transformern abschneiden, während sie in Aufgaben wie dem Lernen von spärlicher Parität überlegen sind. Allerdings zeigen SSMs Schwächen bei Aufgaben, die nicht-standardmäßige Retrieval-Funktionalität erfordern. Um diese Einschränkungen zu adressieren, führen wir ein hybrides Modell, \variant, ein, das Mamba mit Attention-Blöcken kombiniert und in Aufgaben, in denen die einzelnen Modelle unabhängig voneinander Schwierigkeiten haben, übertrifft. Unsere Ergebnisse deuten darauf hin, dass hybride Architekturen vielversprechende Ansätze zur Verbesserung des ICL in Sprachmodellen bieten.

English

State-space models (SSMs), such as Mamba Gu & Dao (2034), have been proposed as alternatives to Transformer networks in language modeling, by incorporating gating, convolutions, and input-dependent token selection to mitigate the quadratic cost of multi-head attention. Although SSMs exhibit competitive performance, their in-context learning (ICL) capabilities, a remarkable emergent property of modern language models that enables task execution without parameter optimization, remain underexplored compared to Transformers. In this study, we evaluate the ICL performance of SSMs, focusing on Mamba, against Transformer models across various tasks. Our results show that SSMs perform comparably to Transformers in standard regression ICL tasks, while outperforming them in tasks like sparse parity learning. However, SSMs fall short in tasks involving non-standard retrieval functionality. To address these limitations, we introduce a hybrid model, \variant, that combines Mamba with attention blocks, surpassing individual models in tasks where they struggle independently. Our findings suggest that hybrid architectures offer promising avenues for enhancing ICL in language models.