Переосмысление билинейных переходов состояний в рекуррентных нейронных сетях

Revisiting Bi-Linear State Transitions in Recurrent Neural Networks

May 27, 2025

Авторы: M. Reza Ebrahimi, Roland Memisevic

cs.AI

Аннотация

Роль скрытых единиц в рекуррентных нейронных сетях традиционно рассматривается как моделирование памяти, при этом исследования сосредоточены на улучшении удержания информации с помощью механизмов управления (гейтов). Менее изученная перспектива рассматривает скрытые единицы как активных участников вычислений, выполняемых сетью, а не как пассивные хранилища памяти. В данной работе мы возвращаемся к билинейным операциям, которые включают мультипликативные взаимодействия между скрытыми единицами и входными эмбеддингами. Мы теоретически и эмпирически демонстрируем, что они представляют собой естественную индуктивную предвзятость для представления эволюции скрытых состояний в задачах отслеживания состояний. Это простейший тип задач, который требует активного вклада скрытых единиц в поведение сети. Мы также показываем, что билинейные обновления состояний образуют естественную иерархию, соответствующую задачам отслеживания состояний возрастающей сложности, при этом популярные линейные рекуррентные сети, такие как Mamba, находятся в центре этой иерархии с наименьшей сложностью.

English

The role of hidden units in recurrent neural networks is typically seen as modeling memory, with research focusing on enhancing information retention through gating mechanisms. A less explored perspective views hidden units as active participants in the computation performed by the network, rather than passive memory stores. In this work, we revisit bi-linear operations, which involve multiplicative interactions between hidden units and input embeddings. We demonstrate theoretically and empirically that they constitute a natural inductive bias for representing the evolution of hidden states in state tracking tasks. These are the simplest type of task that require hidden units to actively contribute to the behavior of the network. We also show that bi-linear state updates form a natural hierarchy corresponding to state tracking tasks of increasing complexity, with popular linear recurrent networks such as Mamba residing at the lowest-complexity center of that hierarchy.