キーポイントをドゥードゥル：スケッチベースのFew-Shotキーポイント検出

要旨

現代の機械知覚において重要なキーポイント検出は、特にクエリと同じ分布からのソースデータが利用できない場合、少数ショット学習において課題に直面しています。このギャップは、人間の表現の一般的な形式であるスケッチを活用することで、ソースフリーな代替手段を提供することで解決されます。しかし、クロスモーダルな埋め込みの習得やユーザー固有のスケッチスタイルの扱いにおいて課題が生じます。私たちが提案するフレームワークは、プロトタイプ的なセットアップとグリッドベースのロケータ、およびプロトタイプ的なドメイン適応を組み合わせることで、これらの課題を克服します。また、新しいキーポイントやクラスにわたる少数ショット収束の成功を、広範な実験を通じて実証しています。

English

Keypoint detection, integral to modern machine perception, faces challenges in few-shot learning, particularly when source data from the same distribution as the query is unavailable. This gap is addressed by leveraging sketches, a popular form of human expression, providing a source-free alternative. However, challenges arise in mastering cross-modal embeddings and handling user-specific sketch styles. Our proposed framework overcomes these hurdles with a prototypical setup, combined with a grid-based locator and prototypical domain adaptation. We also demonstrate success in few-shot convergence across novel keypoints and classes through extensive experiments.

キーポイントをドゥードゥル：スケッチベースのFew-Shotキーポイント検出

Doodle Your Keypoints: Sketch-Based Few-Shot Keypoint Detection

要旨

Support