誤差制御ダイナミクスによるリカレントモデルにおける状態追跡の再考

Rethinking State Tracking in Recurrent Models Through Error Control Dynamics

May 8, 2026

著者: Jiwan Chung, Heechan Choi, Seon Joo Kim

cs.AI

要旨

再帰型アーキテクチャにおける状態追跡の理論は、主に表現能力、すなわち固定されたアーキテクチャが理論的に記号的な遷移規則の集合を実現できるかどうかに焦点を当ててきた。本稿では、これと同様に重要であるのは誤差制御、すなわち隠れ状態のドリフトを記号状態を区別する方向に沿って支配するダイナミクスであると主張する。我々は、状態空間モデルや線形注意を含むモデルクラスであるアフィン再帰ネットワークが、状態表現を保持する限り、状態分離部分空間に沿った誤差を補正できないことを証明する。結果として、実用的なアフィン追跡器は頑健な状態追跡を学習するのではなく、蓄積された状態関連誤差によって支配される有限地平の解を学習する。我々はこの失敗のメカニズムを特徴づけ、蓄積されるクラス内拡散が初期のクラス間分離に比べて小さく保たれている間のみ、追跡が読み取り可能であることを示す。さらに、群状態追跡タスクにおいて、この崩壊が予測可能であること、すなわち、識別比が訓練されたデコーダの可読性しきい値を超えた時点で追跡が崩壊することを実験的に実証する。訓練されたモデル全体において、この交差点は下流の精度が失われる地平を予測する。これらの結果は、頑健な状態追跡がアーキテクチャの理論的表現性だけでなく、その誤差制御によって決定的に決定されることを確立する。

English

The theory of state tracking in recurrent architectures has predominantly focused on expressive capacity: whether a fixed architecture can theoretically realize a set of symbolic transition rules. We argue that equally important is error control, the dynamics governing hidden-state drift along the directions that distinguish symbolic states. We prove that affine recurrent networks, a class of models encompassing State-Space Models and Linear Attention, cannot correct errors along state-separating subspaces once they preserve state representations. Consequently, practical affine trackers do not learn robust state tracking; rather, they learn finite horizon solutions governed by accumulated state-relevant error. We characterize the mechanics of this failure, showing that tracking remains readable only while the accumulating within-class spread remains small relative to the initial between-class separation. We demonstrate empirically on group state-tracking tasks that this breakdown is predictable: tracking collapses when the distinguishability ratio crosses the readability threshold of the trained decoder. Across trained models, the point of this crossing predicts the horizon at which downstream accuracy fails. These results establish that robust state tracking is determined not only by an architecture's theoretical expressivity but crucially by its error control.