키포인트를 스케치로 그리기: 스케치 기반 퓨샷 키포인트 탐지

초록

현대 기계 인식의 핵심 요소인 키포인트 탐지는 동일 분포의 소스 데이터를 사용할 수 없는 상황에서의 소수 샷 학습(few-shot learning)에서 특히 어려움에 직면해 있습니다. 이러한 격차를 해결하기 위해 인간 표현의 대중적인 형태인 스케치를 활용하여 소스 데이터 없이도 대안을 제공합니다. 그러나 크로스 모달 임베딩(cross-modal embedding)을 숙달하고 사용자별 스케치 스타일을 처리하는 데에는 여전히 과제가 존재합니다. 우리가 제안한 프레임워크는 프로토타입 기반 설정과 그리드 기반 위치 탐지기, 그리고 프로토타입 도메인 적응(prototypical domain adaptation)을 결합하여 이러한 장애물을 극복합니다. 또한, 광범위한 실험을 통해 새로운 키포인트와 클래스에서의 소수 샷 수렴(few-shot convergence) 성공을 입증하였습니다.

English

Keypoint detection, integral to modern machine perception, faces challenges in few-shot learning, particularly when source data from the same distribution as the query is unavailable. This gap is addressed by leveraging sketches, a popular form of human expression, providing a source-free alternative. However, challenges arise in mastering cross-modal embeddings and handling user-specific sketch styles. Our proposed framework overcomes these hurdles with a prototypical setup, combined with a grid-based locator and prototypical domain adaptation. We also demonstrate success in few-shot convergence across novel keypoints and classes through extensive experiments.

키포인트를 스케치로 그리기: 스케치 기반 퓨샷 키포인트 탐지

Doodle Your Keypoints: Sketch-Based Few-Shot Keypoint Detection

초록

Support