Attenzione ai Confini: Imparare a Individuare Confini Sfumati a Qualsiasi Risoluzione

Boundary Attention: Learning to Find Faint Boundaries at Any Resolution

January 1, 2024

Autori: Mia Gaia Polansky, Charles Herrmann, Junhwa Hur, Deqing Sun, Dor Verbin, Todd Zickler

cs.AI

Abstract

Presentiamo un modello differenziabile che modella esplicitamente i contorni -- inclusi profili, angoli e giunzioni -- utilizzando un nuovo meccanismo che chiamiamo attenzione ai contorni. Dimostriamo che il nostro modello fornisce risultati accurati anche quando il segnale del contorno è molto debole o è sommerso dal rumore. Rispetto ai precedenti metodi classici per individuare contorni deboli, il nostro modello presenta i vantaggi di essere differenziabile; di essere scalabile su immagini più grandi; e di adattarsi automaticamente a un livello appropriato di dettaglio geometrico in ogni parte di un'immagine. Rispetto ai precedenti metodi deep per individuare contorni tramite addestramento end-to-end, offre i vantaggi di fornire una precisione sub-pixel, di essere più resistente al rumore e di poter elaborare qualsiasi immagine alla sua risoluzione e proporzioni native.

English

We present a differentiable model that explicitly models boundaries -- including contours, corners and junctions -- using a new mechanism that we call boundary attention. We show that our model provides accurate results even when the boundary signal is very weak or is swamped by noise. Compared to previous classical methods for finding faint boundaries, our model has the advantages of being differentiable; being scalable to larger images; and automatically adapting to an appropriate level of geometric detail in each part of an image. Compared to previous deep methods for finding boundaries via end-to-end training, it has the advantages of providing sub-pixel precision, being more resilient to noise, and being able to process any image at its native resolution and aspect ratio.