Рисуйте ключевые точки: обнаружение ключевых точек на основе эскизов с использованием малого числа примеров

Doodle Your Keypoints: Sketch-Based Few-Shot Keypoint Detection

July 10, 2025

Авторы: Subhajit Maity, Ayan Kumar Bhunia, Subhadeep Koley, Pinaki Nath Chowdhury, Aneeshan Sain, Yi-Zhe Song

cs.AI

Аннотация

Обнаружение ключевых точек, являющееся важной составляющей современного машинного восприятия, сталкивается с трудностями в условиях обучения с малым количеством примеров, особенно когда исходные данные из того же распределения, что и запрос, недоступны. Этот пробел устраняется за счет использования набросков — популярной формы человеческого выражения, которая предоставляет альтернативу без необходимости исходных данных. Однако возникают сложности в освоении кросс-модальных встраиваний и обработке пользовательских стилей набросков. Наша предложенная архитектура преодолевает эти препятствия с помощью прототипной настройки, объединенной с локатором на основе сетки и прототипной адаптацией домена. Мы также демонстрируем успешную сходимость при обучении с малым количеством примеров для новых ключевых точек и классов в ходе обширных экспериментов.

English

Keypoint detection, integral to modern machine perception, faces challenges in few-shot learning, particularly when source data from the same distribution as the query is unavailable. This gap is addressed by leveraging sketches, a popular form of human expression, providing a source-free alternative. However, challenges arise in mastering cross-modal embeddings and handling user-specific sketch styles. Our proposed framework overcomes these hurdles with a prototypical setup, combined with a grid-based locator and prototypical domain adaptation. We also demonstrate success in few-shot convergence across novel keypoints and classes through extensive experiments.