Disegna i Tuoi Punti Chiave: Rilevamento di Punti Chiave Few-Shot Basato su Schizzi

Abstract

Il rilevamento di punti chiave, fondamentale per la percezione moderna delle macchine, affronta sfide nell'apprendimento con pochi esempi, specialmente quando i dati di origine provenienti dalla stessa distribuzione della query non sono disponibili. Questa lacuna viene colta sfruttando gli schizzi, una forma popolare di espressione umana, che forniscono un'alternativa priva di dati di origine. Tuttavia, emergono difficoltà nel padroneggiare gli embedding cross-modali e nel gestire gli stili di schizzo specifici dell'utente. Il nostro framework proposto supera questi ostacoli con una configurazione prototipica, combinata con un localizzatore basato su griglia e un adattamento di dominio prototipico. Dimostriamo inoltre il successo nella convergenza con pochi esempi su nuovi punti chiave e classi attraverso esperimenti estesi.

English

Keypoint detection, integral to modern machine perception, faces challenges in few-shot learning, particularly when source data from the same distribution as the query is unavailable. This gap is addressed by leveraging sketches, a popular form of human expression, providing a source-free alternative. However, challenges arise in mastering cross-modal embeddings and handling user-specific sketch styles. Our proposed framework overcomes these hurdles with a prototypical setup, combined with a grid-based locator and prototypical domain adaptation. We also demonstrate success in few-shot convergence across novel keypoints and classes through extensive experiments.

Disegna i Tuoi Punti Chiave: Rilevamento di Punti Chiave Few-Shot Basato su Schizzi

Doodle Your Keypoints: Sketch-Based Few-Shot Keypoint Detection

Abstract

Support