Réseaux de Neurones Récurrents Équivariants par Flot

Flow Equivariant Recurrent Neural Networks

July 20, 2025

papers.authors: T. Anderson Keller

cs.AI

papers.abstract

Les données parviennent à nos sens sous forme d'un flux continu, se transformant en douceur d'un instant à l'autre. Ces transformations fluides peuvent être considérées comme des symétries continues de l'environnement que nous habitons, définissant des relations d'équivalence entre les stimuli au fil du temps. En apprentissage automatique, les architectures de réseaux neuronaux qui respectent les symétries de leurs données sont dites équivariantes et présentent des avantages prouvés en termes de capacité de généralisation et d'efficacité d'échantillonnage. Jusqu'à présent, cependant, l'équivariance n'a été considérée que pour des transformations statiques et des réseaux à propagation avant, limitant ainsi son applicabilité aux modèles séquentiels, tels que les réseaux neuronaux récurrents (RNN), et aux transformations séquentielles paramétrées par le temps correspondantes. Dans ce travail, nous étendons la théorie des réseaux équivariants à ce régime de « flux » — des sous-groupes de Lie à un paramètre capturant les transformations naturelles dans le temps, comme le mouvement visuel. Nous commençons par montrer que les RNN standards ne sont généralement pas équivariants par rapport aux flux : leurs états cachés ne se transforment pas de manière géométriquement structurée pour des stimuli en mouvement. Nous montrons ensuite comment l'équivariance par rapport aux flux peut être introduite, et démontrons que ces modèles surpassent significativement leurs homologues non équivariants en termes de vitesse d'apprentissage, de généralisation à des longueurs variables et de généralisation à des vitesses différentes, tant pour la prédiction de l'étape suivante que pour la classification de séquences. Nous présentons ce travail comme une première étape vers la construction de modèles séquentiels qui respectent les symétries paramétrées par le temps qui régissent le monde qui nous entoure.

English

Data arrives at our senses as a continuous stream, smoothly transforming from one instant to the next. These smooth transformations can be viewed as continuous symmetries of the environment that we inhabit, defining equivalence relations between stimuli over time. In machine learning, neural network architectures that respect symmetries of their data are called equivariant and have provable benefits in terms of generalization ability and sample efficiency. To date, however, equivariance has been considered only for static transformations and feed-forward networks, limiting its applicability to sequence models, such as recurrent neural networks (RNNs), and corresponding time-parameterized sequence transformations. In this work, we extend equivariant network theory to this regime of `flows' -- one-parameter Lie subgroups capturing natural transformations over time, such as visual motion. We begin by showing that standard RNNs are generally not flow equivariant: their hidden states fail to transform in a geometrically structured manner for moving stimuli. We then show how flow equivariance can be introduced, and demonstrate that these models significantly outperform their non-equivariant counterparts in terms of training speed, length generalization, and velocity generalization, on both next step prediction and sequence classification. We present this work as a first step towards building sequence models that respect the time-parameterized symmetries which govern the world around us.