Boundary Attention: Leren om vage grenzen te detecteren bij elke resolutie

Boundary Attention: Learning to Find Faint Boundaries at Any Resolution

January 1, 2024

Auteurs: Mia Gaia Polansky, Charles Herrmann, Junhwa Hur, Deqing Sun, Dor Verbin, Todd Zickler

cs.AI

Samenvatting

We presenteren een differentieerbaar model dat expliciet grenzen modelleert -- inclusief contouren, hoeken en kruisingen -- met behulp van een nieuw mechanisme dat we boundary attention noemen. We laten zien dat ons model nauwkeurige resultaten biedt, zelfs wanneer het grenssignaal zeer zwak is of wordt overspoeld door ruis. In vergelijking met eerdere klassieke methoden voor het vinden van vage grenzen, heeft ons model de voordelen van differentieerbaarheid; schaalbaarheid naar grotere afbeeldingen; en het automatisch aanpassen aan een passend niveau van geometrisch detail in elk deel van een afbeelding. In vergelijking met eerdere deep learning-methoden voor het vinden van grenzen via end-to-end training, heeft het de voordelen van sub-pixelprecisie, meer weerbaarheid tegen ruis, en de mogelijkheid om elke afbeelding op zijn oorspronkelijke resolutie en beeldverhouding te verwerken.

English

We present a differentiable model that explicitly models boundaries -- including contours, corners and junctions -- using a new mechanism that we call boundary attention. We show that our model provides accurate results even when the boundary signal is very weak or is swamped by noise. Compared to previous classical methods for finding faint boundaries, our model has the advantages of being differentiable; being scalable to larger images; and automatically adapting to an appropriate level of geometric detail in each part of an image. Compared to previous deep methods for finding boundaries via end-to-end training, it has the advantages of providing sub-pixel precision, being more resilient to noise, and being able to process any image at its native resolution and aspect ratio.