早期崩壊の回避：エントロピー正則化構造推論のための適応的アニーリング

Avoiding Premature Collapse: Adaptive Annealing for Entropy-Regularized Structural Inference

January 30, 2026

著者: Yizhi Liu

cs.AI

要旨

微分可能マッチング層と残差接続パラダイムは、エントロピー正則化された最適輸送（OT）を介して実装されることが多く、構造予測とアーキテクチャスケーリングにおける重要なメカニズムとして機能する。しかし、離散的な順列を回復させたり、εを0にアニーリングすることで恒等写像を維持したりすることは、極めて不安定であることが知られている。本研究では、この失敗の根本的なメカニズムである「早期モード崩壊」を特定する。シンクホーンの不動点写像の非正規力学を分析することにより、理論的な熱力学的速度限界を明らかにする：標準的な指数冷却は、推論演算子の収縮率（O(1/ε)として劣化する）を上回ってしまう。この問題に対処するため、推論プロセスの安定性を監視する適応的スケジューリングアルゴリズムである、効率的な区分的ハイブリッド適応安定性制御（EPH-ASC）を提案する。EPH-ASCが、FineWeb-Eduデータセットにおける大規模訓練中に多様体制約付きハイパー接続（mHC）を安定化させ、線形安定則を強制することで後段階の勾配爆発を効果的に防止するために不可欠であることを実証する。

English

Differentiable matching layers and residual connection paradigms, often implemented via entropy-regularized Optimal Transport (OT), serve as critical mechanisms in structural prediction and architectural scaling. However, recovering discrete permutations or maintaining identity mappings via annealing εto 0 is notoriously unstable. In this work, we identify a fundamental mechanism for this failure: Premature Mode Collapse. By analyzing the non-normal dynamics of the Sinkhorn fixed-point map, we reveal a theoretical thermodynamic speed limit: standard exponential cooling outpaces the contraction rate of the inference operator, which degrades as O(1/ε). To address this, we propose Efficient Piecewise Hybrid Adaptive Stability Control (EPH-ASC), an adaptive scheduling algorithm that monitors the stability of the inference process. We demonstrate that EPH-ASC is essential for stabilizing Manifold-Constrained Hyper-Connections (mHC) during large-scale training on the FineWeb-Edu dataset, effectively preventing late-stage gradient explosions by enforcing a linear stability law.