Doodle je Sleutelpunten: Schetsgebaseerde Few-Shot Sleutelpuntdetectie

Samenvatting

Keypoint-detectie, essentieel voor moderne machineperceptie, wordt geconfronteerd met uitdagingen in few-shot learning, vooral wanneer brondata uit dezelfde verdeling als de query niet beschikbaar is. Deze kloof wordt overbrugd door schetsen te benutten, een populaire vorm van menselijke expressie, die een bronvrij alternatief bieden. Er doen zich echter uitdagingen voor bij het beheersen van cross-modale embeddings en het omgaan met gebruikersspecifieke schetsstijlen. Ons voorgestelde framework overwint deze hindernissen met een prototypische opzet, gecombineerd met een rastergebaseerde locator en prototypische domeinadaptatie. We tonen ook succes aan in few-shot convergentie over nieuwe keypoints en klassen door middel van uitgebreide experimenten.

English

Keypoint detection, integral to modern machine perception, faces challenges in few-shot learning, particularly when source data from the same distribution as the query is unavailable. This gap is addressed by leveraging sketches, a popular form of human expression, providing a source-free alternative. However, challenges arise in mastering cross-modal embeddings and handling user-specific sketch styles. Our proposed framework overcomes these hurdles with a prototypical setup, combined with a grid-based locator and prototypical domain adaptation. We also demonstrate success in few-shot convergence across novel keypoints and classes through extensive experiments.

Doodle je Sleutelpunten: Schetsgebaseerde Few-Shot Sleutelpuntdetectie

Doodle Your Keypoints: Sketch-Based Few-Shot Keypoint Detection

Samenvatting

Support