Rivalutazione delle Transizioni di Stato Bi-Lineari nelle Reti Neurali Ricorrenti

Revisiting Bi-Linear State Transitions in Recurrent Neural Networks

May 27, 2025

Autori: M. Reza Ebrahimi, Roland Memisevic

cs.AI

Abstract

Il ruolo delle unità nascoste nelle reti neurali ricorrenti è tipicamente visto come la modellazione della memoria, con la ricerca focalizzata sul miglioramento della ritenzione delle informazioni attraverso meccanismi di gating. Una prospettiva meno esplorata considera le unità nascoste come partecipanti attivi nel calcolo eseguito dalla rete, piuttosto che come semplici depositi passivi di memoria. In questo lavoro, riprendiamo le operazioni bi-lineari, che coinvolgono interazioni moltiplicative tra le unità nascoste e gli embedding di input. Dimostriamo teoricamente ed empiricamente che esse costituiscono un bias induttivo naturale per rappresentare l'evoluzione degli stati nascosti nei compiti di tracciamento dello stato. Questi rappresentano il tipo più semplice di compito che richiede alle unità nascoste di contribuire attivamente al comportamento della rete. Mostriamo inoltre che gli aggiornamenti di stato bi-lineari formano una gerarchia naturale corrispondente a compiti di tracciamento dello stato di complessità crescente, con popolari reti ricorrenti lineari come Mamba che risiedono al centro di tale gerarchia, ovvero al livello di complessità più basso.

English

The role of hidden units in recurrent neural networks is typically seen as modeling memory, with research focusing on enhancing information retention through gating mechanisms. A less explored perspective views hidden units as active participants in the computation performed by the network, rather than passive memory stores. In this work, we revisit bi-linear operations, which involve multiplicative interactions between hidden units and input embeddings. We demonstrate theoretically and empirically that they constitute a natural inductive bias for representing the evolution of hidden states in state tracking tasks. These are the simplest type of task that require hidden units to actively contribute to the behavior of the network. We also show that bi-linear state updates form a natural hierarchy corresponding to state tracking tasks of increasing complexity, with popular linear recurrent networks such as Mamba residing at the lowest-complexity center of that hierarchy.