Reti Neurali Ricorrenti Equivarianti al Flusso

Flow Equivariant Recurrent Neural Networks

July 20, 2025

Autori: T. Anderson Keller

cs.AI

Abstract

I dati raggiungono i nostri sensi come un flusso continuo, trasformandosi dolcemente da un istante all'altro. Queste trasformazioni fluide possono essere viste come simmetrie continue dell'ambiente in cui viviamo, definendo relazioni di equivalenza tra gli stimoli nel tempo. Nell'apprendimento automatico, le architetture di reti neurali che rispettano le simmetrie dei loro dati sono chiamate equivarianti e presentano vantaggi dimostrabili in termini di capacità di generalizzazione ed efficienza campionaria. Tuttavia, fino ad oggi, l'equivarianza è stata considerata solo per trasformazioni statiche e reti feed-forward, limitando la sua applicabilità a modelli sequenziali, come le reti neurali ricorrenti (RNN), e alle corrispondenti trasformazioni sequenziali parametrizzate nel tempo. In questo lavoro, estendiamo la teoria delle reti equivarianti a questo regime di "flussi" - sottogruppi di Lie a un parametro che catturano trasformazioni naturali nel tempo, come il movimento visivo. Iniziamo mostrando che le RNN standard generalmente non sono equivarianti rispetto ai flussi: i loro stati nascosti non si trasformano in modo geometricamente strutturato per stimoli in movimento. Mostriamo poi come l'equivarianza rispetto ai flussi possa essere introdotta e dimostriamo che questi modelli superano significativamente le loro controparti non equivarianti in termini di velocità di addestramento, generalizzazione della lunghezza e generalizzazione della velocità, sia nella previsione del passo successivo che nella classificazione di sequenze. Presentiamo questo lavoro come un primo passo verso la costruzione di modelli sequenziali che rispettano le simmetrie parametrizzate nel tempo che governano il mondo che ci circonda.

English

Data arrives at our senses as a continuous stream, smoothly transforming from one instant to the next. These smooth transformations can be viewed as continuous symmetries of the environment that we inhabit, defining equivalence relations between stimuli over time. In machine learning, neural network architectures that respect symmetries of their data are called equivariant and have provable benefits in terms of generalization ability and sample efficiency. To date, however, equivariance has been considered only for static transformations and feed-forward networks, limiting its applicability to sequence models, such as recurrent neural networks (RNNs), and corresponding time-parameterized sequence transformations. In this work, we extend equivariant network theory to this regime of `flows' -- one-parameter Lie subgroups capturing natural transformations over time, such as visual motion. We begin by showing that standard RNNs are generally not flow equivariant: their hidden states fail to transform in a geometrically structured manner for moving stimuli. We then show how flow equivariance can be introduced, and demonstrate that these models significantly outperform their non-equivariant counterparts in terms of training speed, length generalization, and velocity generalization, on both next step prediction and sequence classification. We present this work as a first step towards building sequence models that respect the time-parameterized symmetries which govern the world around us.