ビジョントランスフォーマーにおけるパッチグリッド不安定性のための位相周辺化

要旨

ビジョントランスフォーマーは固定されたパッチグリッド上で動作するため、高密度予測において位相依存の不安定性を引き起こす可能性があります。特に境界付近では、パッチ分割を変更すると、ピクセルが利用できるトークンエビデンスが変化します。本稿では、パッチグリッド位相をニュアンス変数として定式化し、構造化されたパッチグリッド位相を評価し、高密度出力を逆整列し、元の画像座標系で集約する事後マージナリゼーション手法である位相マージナリゼーションを提案します。中心的なバリアントであるK=4の一様位相マージナリゼーションは学習不要であり、測定されたセグメンテーション、深度、局所マッチング設定において、標準的なK=1ベースラインよりも改善を示します。制御されたCityscapes実験では、一様位相マージナリゼーションは、一般的なシフトベースの4回フォワードのテスト時拡張（TTA）に対して、控えめながら計算コストを一致させた優位性を示しました（最も強力なテスト済み汎用手法に対して平均IoUで+0.31）。さらにスケーリング研究では、K=4が実用的なコストと精度のトレードオフであることが示されています。K=8では実質的に変化がなく、K=16ではレイテンシが大幅に増加するにもかかわらず、精度の向上はわずかです。これらの結果は、パッチグリッド位相を測定可能なニュアンス変数として位置づけ、位相マージナリゼーションを高密度ViT予測のためのシンプルな診断および事後マージナリゼーションのベースラインとして位置づけます。

English

Vision Transformers operate on fixed patch grids, which can introduce phase-dependent instability for dense prediction: changing the patch partition can change the token evidence available to a pixel, especially near boundaries. We formalize patch-grid phase as a nuisance variable and propose Phase Marginalization, a post-hoc marginalization method that evaluates structured patch-grid phases, inverse-aligns dense outputs, and aggregates them in the original image coordinate system. The central variant, Uniform Phase Marginalization with K = 4, is training-free and improves over the canonical K = 1 baseline across measured segmentation, depth, and local matching settings. In a controlled Cityscapes experiment, Uniform Phase Marginalization provides a modest compute-matched advantage over generic shift-based four-forward test-time augmentation (TTA) (+0.31 mean Intersection-over-Union over the strongest tested generic row). A scaling study further shows that K = 4 is a practical cost-accuracy trade-off: K = 8 is essentially unchanged and K = 16 adds little accuracy at much higher latency. These results position patch-grid phase as a measurable nuisance variable and Phase Marginalization as a simple diagnostic and post-hoc marginalization baseline for dense ViT prediction.