Skizzieren Sie Ihre Schlüsselpunkte: Skizzenbasierte Few-Shot-Keypoint-Erkennung

papers.abstract

Die Erkennung von Schlüsselpunkten, ein zentraler Bestandteil der modernen maschinellen Wahrnehmung, steht vor Herausforderungen im Bereich des Few-Shot-Lernens, insbesondere wenn Quelldaten aus derselben Verteilung wie die Abfrage nicht verfügbar sind. Diese Lücke wird durch die Nutzung von Skizzen, einer beliebten Form menschlichen Ausdrucks, als quellenfreie Alternative geschlossen. Allerdings ergeben sich Schwierigkeiten bei der Beherrschung von cross-modalen Einbettungen und der Handhabung benutzerspezifischer Skizzenstile. Unser vorgeschlagenes Framework überwindet diese Hürden durch eine prototypische Einrichtung, kombiniert mit einem rasterbasierten Lokalisator und prototypischer Domänenanpassung. Wir zeigen zudem durch umfangreiche Experimente Erfolge bei der Few-Shot-Konvergenz über neue Schlüsselpunkte und Klassen hinweg.

English

Keypoint detection, integral to modern machine perception, faces challenges in few-shot learning, particularly when source data from the same distribution as the query is unavailable. This gap is addressed by leveraging sketches, a popular form of human expression, providing a source-free alternative. However, challenges arise in mastering cross-modal embeddings and handling user-specific sketch styles. Our proposed framework overcomes these hurdles with a prototypical setup, combined with a grid-based locator and prototypical domain adaptation. We also demonstrate success in few-shot convergence across novel keypoints and classes through extensive experiments.

Skizzieren Sie Ihre Schlüsselpunkte: Skizzenbasierte Few-Shot-Keypoint-Erkennung

Doodle Your Keypoints: Sketch-Based Few-Shot Keypoint Detection

papers.abstract

Support