リカレントニューラルネットワークにおける双線形状態遷移の再考

要旨

リカレントニューラルネットワークにおける隠れユニットの役割は、通常、記憶をモデル化するものと見なされ、ゲーティングメカニズムを通じた情報保持の強化に焦点を当てた研究が行われてきました。一方、あまり探求されていない視点として、隠れユニットをネットワークが行う計算の能動的な参加者と見なす考え方があります。本研究では、隠れユニットと入力埋め込みの間の乗法的相互作用を含む双線形演算を再検討します。理論的および実証的に、これらが状態追跡タスクにおける隠れ状態の進化を表現するための自然な帰納バイアスを構成することを示します。これらのタスクは、隠れユニットがネットワークの動作に積極的に貢献することを要求する最も単純なタイプのタスクです。また、双線形状態更新が、複雑さが増す状態追跡タスクに対応する自然な階層を形成し、Mambaのような人気のある線形リカレントネットワークがその階層の最も低い複雑さの中心に位置することを示します。

English

The role of hidden units in recurrent neural networks is typically seen as modeling memory, with research focusing on enhancing information retention through gating mechanisms. A less explored perspective views hidden units as active participants in the computation performed by the network, rather than passive memory stores. In this work, we revisit bi-linear operations, which involve multiplicative interactions between hidden units and input embeddings. We demonstrate theoretically and empirically that they constitute a natural inductive bias for representing the evolution of hidden states in state tracking tasks. These are the simplest type of task that require hidden units to actively contribute to the behavior of the network. We also show that bi-linear state updates form a natural hierarchy corresponding to state tracking tasks of increasing complexity, with popular linear recurrent networks such as Mamba residing at the lowest-complexity center of that hierarchy.

リカレントニューラルネットワークにおける双線形状態遷移の再考

Revisiting Bi-Linear State Transitions in Recurrent Neural Networks

要旨

Support