I Transformer Lineari con Funzioni Kernel Apprendibili sono Modelli In-Contesto Migliori

Linear Transformers with Learnable Kernel Functions are Better In-Context Models

February 16, 2024

Autori: Yaroslav Aksenov, Nikita Balagansky, Sofia Maria Lo Cicero Vaina, Boris Shaposhnikov, Alexey Gorbatovski, Daniil Gavrilov

cs.AI

Abstract

Avanzare la frontiera delle architetture subquadratiche per i Modelli Linguistici (LM) è cruciale nel campo in rapida evoluzione dell'elaborazione del linguaggio naturale. Le innovazioni attuali, inclusi i Modelli a Spazio di Stati, sono state inizialmente celebrate per aver superato le prestazioni dei Transformer nei compiti di modellazione del linguaggio. Tuttavia, questi modelli hanno rivelato carenze nelle capacità essenziali di Apprendimento in Contesto - un dominio in cui il Transformer tradizionalmente eccelle. Il modello Based è emerso come una soluzione ibrida, combinando un Transformer Lineare con un kernel ispirato all'espansione di Taylor delle funzioni esponenziali, potenziato da reti convoluzionali. Riflettendo l'abilità in contesto del Transformer, è diventato un forte contendente nel campo. Nel nostro lavoro, presentiamo una singola ed elegante modifica al kernel Based che amplifica le sue capacità di Apprendimento in Contesto, valutate con il compito di Richiamo Associativo Multi-Query e il processo complessivo di modellazione del linguaggio, come dimostrato sul dataset Pile.

English

Advancing the frontier of subquadratic architectures for Language Models (LMs) is crucial in the rapidly evolving field of natural language processing. Current innovations, including State Space Models, were initially celebrated for surpassing Transformer performance on language modeling tasks. However, these models have revealed deficiencies in essential In-Context Learning capabilities - a domain where the Transformer traditionally shines. The Based model emerged as a hybrid solution, blending a Linear Transformer with a kernel inspired by the Taylor expansion of exponential functions, augmented by convolutional networks. Mirroring the Transformer's in-context adeptness, it became a strong contender in the field. In our work, we present a singular, elegant alteration to the Based kernel that amplifies its In-Context Learning abilities evaluated with the Multi-Query Associative Recall task and overall language modeling process, as demonstrated on the Pile dataset.