Réexamen des transitions d'état bi-linéaires dans les réseaux de neurones récurrents

Revisiting Bi-Linear State Transitions in Recurrent Neural Networks

May 27, 2025

Auteurs: M. Reza Ebrahimi, Roland Memisevic

cs.AI

Résumé

Le rôle des unités cachées dans les réseaux neuronaux récurrents est généralement perçu comme la modélisation de la mémoire, avec des recherches axées sur l'amélioration de la rétention d'information grâce à des mécanismes de gating. Une perspective moins explorée considère les unités cachées comme des participants actifs dans le calcul effectué par le réseau, plutôt que comme des réservoirs de mémoire passifs. Dans ce travail, nous revisitons les opérations bi-linéaires, qui impliquent des interactions multiplicatives entre les unités cachées et les embeddings d'entrée. Nous démontrons théoriquement et empiriquement qu'elles constituent un biais inductif naturel pour représenter l'évolution des états cachés dans les tâches de suivi d'état. Ces dernières constituent le type de tâche le plus simple nécessitant que les unités cachées contribuent activement au comportement du réseau. Nous montrons également que les mises à jour d'état bi-linéaires forment une hiérarchie naturelle correspondant à des tâches de suivi d'état de complexité croissante, avec des réseaux récurrents linéaires populaires tels que Mamba situés au centre de cette hiérarchie, là où la complexité est la plus faible.

English

The role of hidden units in recurrent neural networks is typically seen as modeling memory, with research focusing on enhancing information retention through gating mechanisms. A less explored perspective views hidden units as active participants in the computation performed by the network, rather than passive memory stores. In this work, we revisit bi-linear operations, which involve multiplicative interactions between hidden units and input embeddings. We demonstrate theoretically and empirically that they constitute a natural inductive bias for representing the evolution of hidden states in state tracking tasks. These are the simplest type of task that require hidden units to actively contribute to the behavior of the network. We also show that bi-linear state updates form a natural hierarchy corresponding to state tracking tasks of increasing complexity, with popular linear recurrent networks such as Mamba residing at the lowest-complexity center of that hierarchy.