Revisitando las Transiciones de Estado Bilineales en Redes Neuronales Recurrentes

Revisiting Bi-Linear State Transitions in Recurrent Neural Networks

May 27, 2025

Autores: M. Reza Ebrahimi, Roland Memisevic

cs.AI

Resumen

El papel de las unidades ocultas en las redes neuronales recurrentes se suele interpretar como la modelización de la memoria, con investigaciones centradas en mejorar la retención de información mediante mecanismos de compuerta. Una perspectiva menos explorada considera a las unidades ocultas como participantes activos en el cálculo realizado por la red, en lugar de almacenes de memoria pasivos. En este trabajo, revisitamos las operaciones bilineales, que implican interacciones multiplicativas entre las unidades ocultas y los embeddings de entrada. Demostramos teórica y empíricamente que estas operaciones constituyen un sesgo inductivo natural para representar la evolución de los estados ocultos en tareas de seguimiento de estados. Estas son el tipo más simple de tareas que requieren que las unidades ocultas contribuyan activamente al comportamiento de la red. También mostramos que las actualizaciones de estado bilineales forman una jerarquía natural que corresponde a tareas de seguimiento de estados de complejidad creciente, con redes recurrentes lineales populares como Mamba situadas en el centro de menor complejidad de dicha jerarquía.

English

The role of hidden units in recurrent neural networks is typically seen as modeling memory, with research focusing on enhancing information retention through gating mechanisms. A less explored perspective views hidden units as active participants in the computation performed by the network, rather than passive memory stores. In this work, we revisit bi-linear operations, which involve multiplicative interactions between hidden units and input embeddings. We demonstrate theoretically and empirically that they constitute a natural inductive bias for representing the evolution of hidden states in state tracking tasks. These are the simplest type of task that require hidden units to actively contribute to the behavior of the network. We also show that bi-linear state updates form a natural hierarchy corresponding to state tracking tasks of increasing complexity, with popular linear recurrent networks such as Mamba residing at the lowest-complexity center of that hierarchy.