Neubetrachtung bi-linearer Zustandsübergänge in rekurrenten neuronalen Netzen

Revisiting Bi-Linear State Transitions in Recurrent Neural Networks

May 27, 2025

Autoren: M. Reza Ebrahimi, Roland Memisevic

cs.AI

Zusammenfassung

Die Rolle versteckter Einheiten in rekurrenten neuronalen Netzen wird typischerweise als Modellierung von Gedächtnis betrachtet, wobei sich die Forschung auf die Verbesserung der Informationsspeicherung durch Gating-Mechanismen konzentriert. Eine weniger erforschte Perspektive betrachtet versteckte Einheiten als aktive Teilnehmer an der vom Netzwerk durchgeführten Berechnung, anstatt als passive Speicher. In dieser Arbeit untersuchen wir bilineare Operationen neu, bei denen multiplikative Interaktionen zwischen versteckten Einheiten und Eingabe-Embeddings stattfinden. Wir zeigen theoretisch und empirisch, dass sie eine natürliche induktive Verzerrung für die Darstellung der Entwicklung von versteckten Zuständen in Zustandsverfolgungsaufgaben darstellen. Dies sind die einfachsten Aufgaben, die verlangen, dass versteckte Einheiten aktiv zum Verhalten des Netzwerks beitragen. Wir zeigen auch, dass bilineare Zustandsaktualisierungen eine natürliche Hierarchie bilden, die Zustandsverfolgungsaufgaben mit zunehmender Komplexität entspricht, wobei beliebte lineare rekurrente Netzwerke wie Mamba im Zentrum dieser Hierarchie mit der geringsten Komplexität angesiedelt sind.

English

The role of hidden units in recurrent neural networks is typically seen as modeling memory, with research focusing on enhancing information retention through gating mechanisms. A less explored perspective views hidden units as active participants in the computation performed by the network, rather than passive memory stores. In this work, we revisit bi-linear operations, which involve multiplicative interactions between hidden units and input embeddings. We demonstrate theoretically and empirically that they constitute a natural inductive bias for representing the evolution of hidden states in state tracking tasks. These are the simplest type of task that require hidden units to actively contribute to the behavior of the network. We also show that bi-linear state updates form a natural hierarchy corresponding to state tracking tasks of increasing complexity, with popular linear recurrent networks such as Mamba residing at the lowest-complexity center of that hierarchy.