Esquissez vos points clés : Détection de points clés en peu de coups basée sur des croquis
Doodle Your Keypoints: Sketch-Based Few-Shot Keypoint Detection
July 10, 2025
papers.authors: Subhajit Maity, Ayan Kumar Bhunia, Subhadeep Koley, Pinaki Nath Chowdhury, Aneeshan Sain, Yi-Zhe Song
cs.AI
papers.abstract
La détection de points clés, essentielle à la perception moderne des machines, rencontre des défis dans l'apprentissage en few-shot, en particulier lorsque les données sources provenant de la même distribution que la requête sont indisponibles. Ce manque est comblé en exploitant les croquis, une forme populaire d'expression humaine, offrant une alternative sans source. Cependant, des difficultés surgissent dans la maîtrise des embeddings intermodaux et la gestion des styles de croquis spécifiques à l'utilisateur. Notre cadre proposé surmonte ces obstacles avec une configuration prototypique, combinée à un localisateur basé sur une grille et une adaptation de domaine prototypique. Nous démontrons également un succès dans la convergence en few-shot pour de nouveaux points clés et classes grâce à des expériences approfondies.
English
Keypoint detection, integral to modern machine perception, faces challenges
in few-shot learning, particularly when source data from the same distribution
as the query is unavailable. This gap is addressed by leveraging sketches, a
popular form of human expression, providing a source-free alternative. However,
challenges arise in mastering cross-modal embeddings and handling user-specific
sketch styles. Our proposed framework overcomes these hurdles with a
prototypical setup, combined with a grid-based locator and prototypical domain
adaptation. We also demonstrate success in few-shot convergence across novel
keypoints and classes through extensive experiments.