Потоково-эквивариантные рекуррентные нейронные сети

Flow Equivariant Recurrent Neural Networks

July 20, 2025

Авторы: T. Anderson Keller

cs.AI

Аннотация

Данные поступают к нашим органам чувств в виде непрерывного потока, плавно преобразуясь от одного момента к другому. Эти плавные преобразования можно рассматривать как непрерывные симметрии окружающей среды, в которой мы находимся, определяя отношения эквивалентности между стимулами во времени. В машинном обучении архитектуры нейронных сетей, которые учитывают симметрии своих данных, называются эквивариантными и обладают доказанными преимуществами в плане способности к обобщению и эффективности использования данных. Однако до сих пор эквивариантность рассматривалась только для статических преобразований и прямолинейных сетей, что ограничивало её применимость к моделям последовательностей, таким как рекуррентные нейронные сети (RNN), и соответствующим временно-параметризованным преобразованиям последовательностей. В данной работе мы расширяем теорию эквивариантных сетей на режим «потоков» — однопараметрических подгрупп Ли, которые описывают естественные преобразования во времени, такие как визуальное движение. Мы начинаем с того, что показываем, что стандартные RNN, как правило, не являются эквивариантными относительно потоков: их скрытые состояния не преобразуются геометрически структурированным образом для движущихся стимулов. Затем мы показываем, как можно ввести эквивариантность относительно потоков, и демонстрируем, что такие модели значительно превосходят свои неэквивариантные аналоги по скорости обучения, обобщению на длинные последовательности и обобщению на различные скорости, как в задачах предсказания следующего шага, так и в классификации последовательностей. Мы представляем эту работу как первый шаг к созданию моделей последовательностей, которые учитывают временно-параметризованные симметрии, управляющие окружающим нас миром.

English

Data arrives at our senses as a continuous stream, smoothly transforming from one instant to the next. These smooth transformations can be viewed as continuous symmetries of the environment that we inhabit, defining equivalence relations between stimuli over time. In machine learning, neural network architectures that respect symmetries of their data are called equivariant and have provable benefits in terms of generalization ability and sample efficiency. To date, however, equivariance has been considered only for static transformations and feed-forward networks, limiting its applicability to sequence models, such as recurrent neural networks (RNNs), and corresponding time-parameterized sequence transformations. In this work, we extend equivariant network theory to this regime of `flows' -- one-parameter Lie subgroups capturing natural transformations over time, such as visual motion. We begin by showing that standard RNNs are generally not flow equivariant: their hidden states fail to transform in a geometrically structured manner for moving stimuli. We then show how flow equivariance can be introduced, and demonstrate that these models significantly outperform their non-equivariant counterparts in terms of training speed, length generalization, and velocity generalization, on both next step prediction and sequence classification. We present this work as a first step towards building sequence models that respect the time-parameterized symmetries which govern the world around us.