量子化が記憶を壊すとき：低精度時間的推論におけるリカレント状態の書き戻し

要旨

量子化は、ニューラルネットワーク推論に必要な計算量とメモリ量を削減するために広く用いられている。しかしながら、リカレントネットワークでは、量子化された状態が保存され、次のタイムステップで返されるため、その状態の保存規則が後続の計算を変化させ得る。本稿では、この保存規則をリカレント状態書き戻しと呼び、定量生物学的イメージングに用いられる分子イメージング手法である蛍光寿命イメージングのためのコンパクトなGRUエンコーダ・デコーダにおいて、その影響を分離して評価する。中心的な課題は、高ノイズの時間分解蛍光信号から、短寿命成分τ1と長寿命成分τ2という二つの寿命パラメータを推定することである。学習済みモデルを固定したまま、連続的な状態伝播を決定論的な4ビット状態保存に置き換えると、τ1およびτ2の推定誤差は、それぞれ約70倍および約300倍に増大する。この失敗は、小さな更新が繰り返される際に、その更新が書き込み閾値を下回り、保存された状態がほぼ固定されたままになる一方で、ネットワークが変化を提案し続けることで生じる。誤差フィードバック、残差メモリ、方向メモリは、これらの抑制された更新からの情報を時間を越えて伝達し、再学習なしで精度を回復させる。精度スイープは、状態精度を高めることが、固定されたリカレント解をむしろ悪化させ得ることを示す一方、整合的な学習は、状態インターフェースとの互換性が学習可能であることを示す。この挙動がGRUを超えるかどうかを検証するため、独立に学習させたLSTMに対しても学習後介入を実施した。その結果、粗い書き戻しは失敗を再現し、誤差フィードバックは精度を回復し、状態別の介入により、隠れ状態よりもセル状態の感度が高いことが明らかになった。以上の結果から、リカレント状態書き戻しが低精度リカレントダイナミクスの主要な決定要因であることが確立され、状態保存インターフェースが量子化リカレント推論における中心的な設計上の考慮事項であることが示される。

English

Quantization is widely used to reduce the computational and memory demands of neural-network inference. In recurrent networks, however, the quantized state is stored and returned at the next time step, so the rule used to store that state can alter subsequent computations. Here, we introduce recurrent-state write-back to denote this rule and isolate its effect in a compact GRU encoder--decoder for fluorescence lifetime imaging, a molecular imaging modality used in quantitative biological imaging. A central task is estimating two lifetime parameters, the short-lived component τ1 and the long-lived component τ2, from high-noise time-resolved fluorescence signals. Holding the trained model fixed, replacing continuous state propagation with deterministic 4-bit state storage increases estimation errors for τ1 and τ2 by approximately 70x and 300x, respectively. Failure occurs when repeated small updates remain below the write threshold, leaving the stored state nearly fixed while the network continues to propose change. Error feedback, residual memory, and direction memory carry information from these suppressed updates across time and recover accuracy without retraining. Precision sweeps show that increasing state precision can worsen a fixed recurrent solution, while matched training shows that compatibility with the state interface can be learned. To test whether this behavior extends beyond the GRU, we repeat the post-training intervention in an independently trained LSTM, where coarse write-back reproduces the failure, error feedback restores accuracy, and state-specific interventions reveal greater sensitivity of the cell state than the hidden state. Our results establish recurrent-state write-back as a key determinant of low-precision recurrent dynamics and identify the state-storage interface as a central design consideration for quantized recurrent inference.