Redes Neuronales Recurrentes Equivariantes al Flujo

Flow Equivariant Recurrent Neural Networks

July 20, 2025

Autores: T. Anderson Keller

cs.AI

Resumen

Los datos llegan a nuestros sentidos como un flujo continuo, transformándose suavemente de un instante al siguiente. Estas transformaciones suaves pueden verse como simetrías continuas del entorno que habitamos, definiendo relaciones de equivalencia entre estímulos a lo largo del tiempo. En el aprendizaje automático, las arquitecturas de redes neuronales que respetan las simetrías de sus datos se denominan equivariantes y tienen beneficios demostrables en términos de capacidad de generalización y eficiencia de muestreo. Hasta la fecha, sin embargo, la equivarianza solo se ha considerado para transformaciones estáticas y redes de alimentación directa, limitando su aplicabilidad a modelos de secuencias, como las redes neuronales recurrentes (RNN), y a las transformaciones de secuencias parametrizadas en el tiempo correspondientes. En este trabajo, extendemos la teoría de redes equivariantes a este régimen de 'flujos': subgrupos de Lie de un parámetro que capturan transformaciones naturales a lo largo del tiempo, como el movimiento visual. Comenzamos mostrando que las RNN estándar generalmente no son equivariantes a flujos: sus estados ocultos no se transforman de manera geométricamente estructurada para estímulos en movimiento. Luego mostramos cómo se puede introducir la equivarianza a flujos y demostramos que estos modelos superan significativamente a sus contrapartes no equivariantes en términos de velocidad de entrenamiento, generalización de longitud y generalización de velocidad, tanto en la predicción del siguiente paso como en la clasificación de secuencias. Presentamos este trabajo como un primer paso hacia la construcción de modelos de secuencias que respeten las simetrías parametrizadas en el tiempo que gobiernan el mundo que nos rodea.

English

Data arrives at our senses as a continuous stream, smoothly transforming from one instant to the next. These smooth transformations can be viewed as continuous symmetries of the environment that we inhabit, defining equivalence relations between stimuli over time. In machine learning, neural network architectures that respect symmetries of their data are called equivariant and have provable benefits in terms of generalization ability and sample efficiency. To date, however, equivariance has been considered only for static transformations and feed-forward networks, limiting its applicability to sequence models, such as recurrent neural networks (RNNs), and corresponding time-parameterized sequence transformations. In this work, we extend equivariant network theory to this regime of `flows' -- one-parameter Lie subgroups capturing natural transformations over time, such as visual motion. We begin by showing that standard RNNs are generally not flow equivariant: their hidden states fail to transform in a geometrically structured manner for moving stimuli. We then show how flow equivariance can be introduced, and demonstrate that these models significantly outperform their non-equivariant counterparts in terms of training speed, length generalization, and velocity generalization, on both next step prediction and sequence classification. We present this work as a first step towards building sequence models that respect the time-parameterized symmetries which govern the world around us.