Repensando o Rastreamento de Estado em Modelos Recorrentes Através da Dinâmica de Controle de Erro

Resumo

A teoria do rastreamento de estados em arquiteturas recorrentes tem se concentrado predominantemente na capacidade expressiva: se uma arquitetura fixa pode, teoricamente, realizar um conjunto de regras de transição simbólicas. Argumentamos que igualmente importante é o controle de erros, a dinâmica que governa o desvio do estado oculto ao longo das direções que distinguem estados simbólicos. Provamos que redes recorrentes afins, uma classe de modelos que abrange Modelos de Espaço de Estados e Atenção Linear, não conseguem corrigir erros ao longo de subespaços de separação de estados uma vez que preservam representações de estado. Consequentemente, rastreadores afins práticos não aprendem um rastreamento robusto de estados; em vez disso, aprendem soluções de horizonte finito governadas pelo erro acumulado relevante ao estado. Caracterizamos a mecânica dessa falha, mostrando que o rastreamento permanece legível apenas enquanto a dispersão intraclasse acumulada permanece pequena em relação à separação interclasse inicial. Demonstramos empiricamente, em tarefas de rastreamento de estado em grupo, que esse colapso é previsível: o rastreamento colapsa quando a razão de distinguibilidade ultrapassa o limiar de legibilidade do decodificador treinado. Através de modelos treinados, o ponto desse cruzamento prediz o horizonte em que a precisão downstream falha. Esses resultados estabelecem que o rastreamento robusto de estados é determinado não apenas pela expressividade teórica de uma arquitetura, mas crucialmente pelo seu controle de erros.

English

The theory of state tracking in recurrent architectures has predominantly focused on expressive capacity: whether a fixed architecture can theoretically realize a set of symbolic transition rules. We argue that equally important is error control, the dynamics governing hidden-state drift along the directions that distinguish symbolic states. We prove that affine recurrent networks, a class of models encompassing State-Space Models and Linear Attention, cannot correct errors along state-separating subspaces once they preserve state representations. Consequently, practical affine trackers do not learn robust state tracking; rather, they learn finite horizon solutions governed by accumulated state-relevant error. We characterize the mechanics of this failure, showing that tracking remains readable only while the accumulating within-class spread remains small relative to the initial between-class separation. We demonstrate empirically on group state-tracking tasks that this breakdown is predictable: tracking collapses when the distinguishability ratio crosses the readability threshold of the trained decoder. Across trained models, the point of this crossing predicts the horizon at which downstream accuracy fails. These results establish that robust state tracking is determined not only by an architecture's theoretical expressivity but crucially by its error control.