Marginalização de Fase para a Instabilidade da Grade de Patches em Vision Transformers

Resumo

Transformers de Visão operam em grades fixas de patches, o que pode introduzir instabilidade dependente da fase para predição densa: alterar a partição dos patches pode modificar a evidência de tokens disponível para um pixel, especialmente próximo a limites. Formalizamos a fase da grade de patches como uma variável incômoda e propomos a Marginalização de Fase, um método de marginalização post-hoc que avalia fases estruturadas da grade de patches, realinha inversamente as saídas densas e as agrega no sistema de coordenadas da imagem original. A variante central, Marginalização de Fase Uniforme com K = 4, não requer treinamento e melhora em relação à linha de base canônica com K = 1 em configurações medidas de segmentação, profundidade e correspondência local. Em um experimento controlado no Cityscapes, a Marginalização de Fase Uniforme proporciona uma vantagem modesta, compatível em custo computacional, em relação ao aumento em tempo de teste (TTA) genérico baseado em quatro deslocamentos (acréscimo de +0,31 na média de Intersecção sobre União em relação à linha genérica mais forte testada). Um estudo de escalonamento mostra ainda que K = 4 representa um compromisso prático entre custo e precisão: K = 8 essencialmente não altera os resultados e K = 16 acrescenta pouca precisão a uma latência muito maior. Esses resultados posicionam a fase da grade de patches como uma variável incômoda mensurável e a Marginalização de Fase como uma linha de base simples de diagnóstico e marginalização post-hoc para predição densa com ViT.

English

Vision Transformers operate on fixed patch grids, which can introduce phase-dependent instability for dense prediction: changing the patch partition can change the token evidence available to a pixel, especially near boundaries. We formalize patch-grid phase as a nuisance variable and propose Phase Marginalization, a post-hoc marginalization method that evaluates structured patch-grid phases, inverse-aligns dense outputs, and aggregates them in the original image coordinate system. The central variant, Uniform Phase Marginalization with K = 4, is training-free and improves over the canonical K = 1 baseline across measured segmentation, depth, and local matching settings. In a controlled Cityscapes experiment, Uniform Phase Marginalization provides a modest compute-matched advantage over generic shift-based four-forward test-time augmentation (TTA) (+0.31 mean Intersection-over-Union over the strongest tested generic row). A scaling study further shows that K = 4 is a practical cost-accuracy trade-off: K = 8 is essentially unchanged and K = 16 adds little accuracy at much higher latency. These results position patch-grid phase as a measurable nuisance variable and Phase Marginalization as a simple diagnostic and post-hoc marginalization baseline for dense ViT prediction.