Doodle Seus Pontos-Chave: Detecção de Pontos-Chave Baseada em Esboços com Poucos Exemplos

Doodle Your Keypoints: Sketch-Based Few-Shot Keypoint Detection

July 10, 2025

Autores: Subhajit Maity, Ayan Kumar Bhunia, Subhadeep Koley, Pinaki Nath Chowdhury, Aneeshan Sain, Yi-Zhe Song

cs.AI

Resumo

A detecção de pontos-chave, essencial para a percepção moderna em máquinas, enfrenta desafios no aprendizado com poucos exemplos, especialmente quando dados de origem da mesma distribuição da consulta não estão disponíveis. Essa lacuna é abordada ao se utilizar esboços, uma forma popular de expressão humana, fornecendo uma alternativa sem necessidade de dados de origem. No entanto, surgem desafios ao dominar embeddings multimodais e ao lidar com estilos de esboço específicos do usuário. Nosso framework proposto supera esses obstáculos com uma configuração prototípica, combinada com um localizador baseado em grade e adaptação de domínio prototípica. Também demonstramos sucesso na convergência com poucos exemplos em novos pontos-chave e classes por meio de experimentos extensivos.

English

Keypoint detection, integral to modern machine perception, faces challenges in few-shot learning, particularly when source data from the same distribution as the query is unavailable. This gap is addressed by leveraging sketches, a popular form of human expression, providing a source-free alternative. However, challenges arise in mastering cross-modal embeddings and handling user-specific sketch styles. Our proposed framework overcomes these hurdles with a prototypical setup, combined with a grid-based locator and prototypical domain adaptation. We also demonstrate success in few-shot convergence across novel keypoints and classes through extensive experiments.