Revisitando as Transições de Estado Bi-Lineares em Redes Neurais Recorrentes

Revisiting Bi-Linear State Transitions in Recurrent Neural Networks

May 27, 2025

Autores: M. Reza Ebrahimi, Roland Memisevic

cs.AI

Resumo

O papel das unidades ocultas em redes neurais recorrentes é tipicamente visto como a modelagem de memória, com pesquisas focando em melhorar a retenção de informação por meio de mecanismos de portão. Uma perspectiva menos explorada vê as unidades ocultas como participantes ativos na computação realizada pela rede, em vez de meros armazenamentos passivos de memória. Neste trabalho, revisitamos operações bilineares, que envolvem interações multiplicativas entre unidades ocultas e embeddings de entrada. Demonstramos teórica e empiricamente que elas constituem um viés indutivo natural para representar a evolução dos estados ocultos em tarefas de rastreamento de estado. Essas são o tipo mais simples de tarefa que exigem que as unidades ocultas contribuam ativamente para o comportamento da rede. Também mostramos que atualizações de estado bilineares formam uma hierarquia natural correspondente a tarefas de rastreamento de estado de complexidade crescente, com redes recorrentes lineares populares, como a Mamba, residindo no centro de menor complexidade dessa hierarquia.

English

The role of hidden units in recurrent neural networks is typically seen as modeling memory, with research focusing on enhancing information retention through gating mechanisms. A less explored perspective views hidden units as active participants in the computation performed by the network, rather than passive memory stores. In this work, we revisit bi-linear operations, which involve multiplicative interactions between hidden units and input embeddings. We demonstrate theoretically and empirically that they constitute a natural inductive bias for representing the evolution of hidden states in state tracking tasks. These are the simplest type of task that require hidden units to actively contribute to the behavior of the network. We also show that bi-linear state updates form a natural hierarchy corresponding to state tracking tasks of increasing complexity, with popular linear recurrent networks such as Mamba residing at the lowest-complexity center of that hierarchy.