Vision-Gebaseerde Aanpassing van Handgebaren vanuit een Enkele Demonstratie

Vision-Based Hand Gesture Customization from a Single Demonstration

February 13, 2024

Auteurs: Soroush Shahi, Cori Tymoszek Park, Richard Kang, Asaf Liberman, Oron Levy, Jun Gong, Abdelkareem Bedri, Gierad Laput

cs.AI

Samenvatting

Handgebaarherkenning wordt een steeds gangbaardere vorm van mens-computerinteractie, vooral nu camera's steeds vaker voorkomen in alledaagse apparaten. Ondanks voortdurende vooruitgang in dit veld wordt gebarenaanpassing vaak onderbelicht. Aanpassing is cruciaal omdat het gebruikers in staat stelt gebaren te definiëren en te demonstreren die natuurlijker, makkelijker te onthouden en toegankelijker zijn. Aanpassing vereist echter efficiënt gebruik van door gebruikers aangeleverde gegevens. Wij introduceren een methode waarmee gebruikers eenvoudig op maat gemaakte gebaren kunnen ontwerpen met een monoculaire camera op basis van één demonstratie. We maken gebruik van transformers en meta-learningtechnieken om uitdagingen op het gebied van few-shot learning aan te pakken. In tegenstelling tot eerder werk ondersteunt onze methode elke combinatie van eenhandige, tweehandige, statische en dynamische gebaren, inclusief verschillende gezichtspunten. We hebben onze aanpassingsmethode geëvalueerd via een gebruikersstudie met 20 gebaren verzameld van 21 deelnemers, waarbij een gemiddelde herkenningsnauwkeurigheid van tot 97% werd behaald op basis van één demonstratie. Ons werk biedt een haalbare weg voor visiegebaseerde gebarenaanpassing en legt de basis voor toekomstige vooruitgang in dit domein.

English

Hand gesture recognition is becoming a more prevalent mode of human-computer interaction, especially as cameras proliferate across everyday devices. Despite continued progress in this field, gesture customization is often underexplored. Customization is crucial since it enables users to define and demonstrate gestures that are more natural, memorable, and accessible. However, customization requires efficient usage of user-provided data. We introduce a method that enables users to easily design bespoke gestures with a monocular camera from one demonstration. We employ transformers and meta-learning techniques to address few-shot learning challenges. Unlike prior work, our method supports any combination of one-handed, two-handed, static, and dynamic gestures, including different viewpoints. We evaluated our customization method through a user study with 20 gestures collected from 21 participants, achieving up to 97% average recognition accuracy from one demonstration. Our work provides a viable path for vision-based gesture customization, laying the foundation for future advancements in this domain.