Redes Neurais Recorrentes Equivariantes ao Fluxo

Flow Equivariant Recurrent Neural Networks

July 20, 2025

Autores: T. Anderson Keller

cs.AI

Resumo

Os dados chegam aos nossos sentidos como um fluxo contínuo, transformando-se suavemente de um instante para o próximo. Essas transformações suaves podem ser vistas como simetrias contínuas do ambiente em que habitamos, definindo relações de equivalência entre estímulos ao longo do tempo. No aprendizado de máquina, arquiteturas de redes neurais que respeitam as simetrias de seus dados são chamadas de equivariantes e apresentam benefícios comprovados em termos de capacidade de generalização e eficiência amostral. Até o momento, no entanto, a equivariância foi considerada apenas para transformações estáticas e redes feed-forward, limitando sua aplicabilidade a modelos de sequência, como redes neurais recorrentes (RNNs), e às correspondentes transformações de sequência parametrizadas no tempo. Neste trabalho, estendemos a teoria de redes equivariantes para o regime de 'fluxos' — subgrupos de Lie de um parâmetro que capturam transformações naturais ao longo do tempo, como o movimento visual. Começamos mostrando que as RNNs padrão geralmente não são equivariantes a fluxos: seus estados ocultos falham em se transformar de maneira geometricamente estruturada para estímulos em movimento. Em seguida, mostramos como a equivariância a fluxos pode ser introduzida e demonstramos que esses modelos superam significativamente suas contrapartes não equivariantes em termos de velocidade de treinamento, generalização de comprimento e generalização de velocidade, tanto na previsão do próximo passo quanto na classificação de sequências. Apresentamos este trabalho como um primeiro passo para a construção de modelos de sequência que respeitam as simetrias parametrizadas no tempo que governam o mundo ao nosso redor.

English

Data arrives at our senses as a continuous stream, smoothly transforming from one instant to the next. These smooth transformations can be viewed as continuous symmetries of the environment that we inhabit, defining equivalence relations between stimuli over time. In machine learning, neural network architectures that respect symmetries of their data are called equivariant and have provable benefits in terms of generalization ability and sample efficiency. To date, however, equivariance has been considered only for static transformations and feed-forward networks, limiting its applicability to sequence models, such as recurrent neural networks (RNNs), and corresponding time-parameterized sequence transformations. In this work, we extend equivariant network theory to this regime of `flows' -- one-parameter Lie subgroups capturing natural transformations over time, such as visual motion. We begin by showing that standard RNNs are generally not flow equivariant: their hidden states fail to transform in a geometrically structured manner for moving stimuli. We then show how flow equivariance can be introduced, and demonstrate that these models significantly outperform their non-equivariant counterparts in terms of training speed, length generalization, and velocity generalization, on both next step prediction and sequence classification. We present this work as a first step towards building sequence models that respect the time-parameterized symmetries which govern the world around us.