Personnalisation des gestes manuels basée sur la vision à partir d'une seule démonstration

Vision-Based Hand Gesture Customization from a Single Demonstration

February 13, 2024

Auteurs: Soroush Shahi, Cori Tymoszek Park, Richard Kang, Asaf Liberman, Oron Levy, Jun Gong, Abdelkareem Bedri, Gierad Laput

cs.AI

Résumé

La reconnaissance des gestes manuels devient un mode d'interaction homme-machine de plus en plus répandu, notamment avec la prolifération des caméras sur les appareils du quotidien. Malgré les progrès continus dans ce domaine, la personnalisation des gestes reste souvent peu explorée. Cette personnalisation est pourtant cruciale, car elle permet aux utilisateurs de définir et de démontrer des gestes plus naturels, mémorables et accessibles. Cependant, la personnalisation nécessite une utilisation efficace des données fournies par l'utilisateur. Nous présentons une méthode qui permet aux utilisateurs de concevoir facilement des gestes sur mesure avec une caméra monoculaire à partir d'une seule démonstration. Nous utilisons des transformateurs et des techniques de méta-apprentissage pour relever les défis de l'apprentissage à partir de peu d'exemples. Contrairement aux travaux précédents, notre méthode prend en charge n'importe quelle combinaison de gestes à une main, à deux mains, statiques et dynamiques, y compris sous différents angles de vue. Nous avons évalué notre méthode de personnalisation à travers une étude utilisateur avec 20 gestes collectés auprès de 21 participants, atteignant jusqu'à 97 % de précision moyenne de reconnaissance à partir d'une seule démonstration. Notre travail ouvre une voie prometteuse pour la personnalisation des gestes basée sur la vision, posant les bases pour les avancées futures dans ce domaine.

English

Hand gesture recognition is becoming a more prevalent mode of human-computer interaction, especially as cameras proliferate across everyday devices. Despite continued progress in this field, gesture customization is often underexplored. Customization is crucial since it enables users to define and demonstrate gestures that are more natural, memorable, and accessible. However, customization requires efficient usage of user-provided data. We introduce a method that enables users to easily design bespoke gestures with a monocular camera from one demonstration. We employ transformers and meta-learning techniques to address few-shot learning challenges. Unlike prior work, our method supports any combination of one-handed, two-handed, static, and dynamic gestures, including different viewpoints. We evaluated our customization method through a user study with 20 gestures collected from 21 participants, achieving up to 97% average recognition accuracy from one demonstration. Our work provides a viable path for vision-based gesture customization, laying the foundation for future advancements in this domain.