Dibuja tus puntos clave: Detección de puntos clave basada en bocetos con pocos ejemplos

Resumen

La detección de puntos clave, fundamental para la percepción moderna en aprendizaje automático, enfrenta desafíos en el aprendizaje con pocos ejemplos, especialmente cuando no se dispone de datos de origen provenientes de la misma distribución que la consulta. Esta brecha se aborda aprovechando los bocetos, una forma popular de expresión humana, que ofrecen una alternativa sin necesidad de datos de origen. Sin embargo, surgen desafíos al dominar los embeddings multimodales y al manejar estilos de boceto específicos del usuario. Nuestro marco propuesto supera estos obstáculos con una configuración prototípica, combinada con un localizador basado en cuadrícula y una adaptación de dominio prototípica. También demostramos éxito en la convergencia con pocos ejemplos a través de nuevos puntos clave y clases mediante experimentos exhaustivos.

English

Keypoint detection, integral to modern machine perception, faces challenges in few-shot learning, particularly when source data from the same distribution as the query is unavailable. This gap is addressed by leveraging sketches, a popular form of human expression, providing a source-free alternative. However, challenges arise in mastering cross-modal embeddings and handling user-specific sketch styles. Our proposed framework overcomes these hurdles with a prototypical setup, combined with a grid-based locator and prototypical domain adaptation. We also demonstrate success in few-shot convergence across novel keypoints and classes through extensive experiments.

Dibuja tus puntos clave: Detección de puntos clave basada en bocetos con pocos ejemplos

Doodle Your Keypoints: Sketch-Based Few-Shot Keypoint Detection

Resumen

Support