Het opnieuw bekijken van bi-lineaire toestandsovergangen in recurrent neural networks

Revisiting Bi-Linear State Transitions in Recurrent Neural Networks

May 27, 2025

Auteurs: M. Reza Ebrahimi, Roland Memisevic

cs.AI

Samenvatting

De rol van verborgen eenheden in recurrent neural networks wordt doorgaans gezien als het modelleren van geheugen, waarbij onderzoek zich richt op het verbeteren van informatiebehoud via gating-mechanismen. Een minder verkend perspectief beschouwt verborgen eenheden als actieve deelnemers aan de berekeningen die door het netwerk worden uitgevoerd, in plaats van als passieve geheugenopslag. In dit werk herzien we bi-lineaire operaties, waarbij multiplicatieve interacties tussen verborgen eenheden en invoer-embeddings plaatsvinden. We tonen zowel theoretisch als empirisch aan dat deze een natuurlijke inductieve bias vormen voor het representeren van de evolutie van verborgen toestanden in state tracking-taken. Dit zijn de eenvoudigste taken die vereisen dat verborgen eenheden actief bijdragen aan het gedrag van het netwerk. We laten ook zien dat bi-lineaire staat-updates een natuurlijke hiërarchie vormen die overeenkomt met state tracking-taken van toenemende complexiteit, waarbij populaire lineaire recurrent networks zoals Mamba zich bevinden in het laagste-complexiteitscentrum van die hiërarchie.

English

The role of hidden units in recurrent neural networks is typically seen as modeling memory, with research focusing on enhancing information retention through gating mechanisms. A less explored perspective views hidden units as active participants in the computation performed by the network, rather than passive memory stores. In this work, we revisit bi-linear operations, which involve multiplicative interactions between hidden units and input embeddings. We demonstrate theoretically and empirically that they constitute a natural inductive bias for representing the evolution of hidden states in state tracking tasks. These are the simplest type of task that require hidden units to actively contribute to the behavior of the network. We also show that bi-linear state updates form a natural hierarchy corresponding to state tracking tasks of increasing complexity, with popular linear recurrent networks such as Mamba residing at the lowest-complexity center of that hierarchy.