Настройка жестов рук на основе зрения по одному демонстрационному примеру

Vision-Based Hand Gesture Customization from a Single Demonstration

February 13, 2024

Авторы: Soroush Shahi, Cori Tymoszek Park, Richard Kang, Asaf Liberman, Oron Levy, Jun Gong, Abdelkareem Bedri, Gierad Laput

cs.AI

Аннотация

Распознавание жестов становится все более распространенным способом взаимодействия человека с компьютером, особенно с учетом повсеместного распространения камер в повседневных устройствах. Несмотря на постоянный прогресс в этой области, настройка жестов часто остается недостаточно изученной. Настройка имеет решающее значение, поскольку позволяет пользователям определять и демонстрировать жесты, которые являются более естественными, запоминающимися и доступными. Однако настройка требует эффективного использования данных, предоставляемых пользователем. Мы представляем метод, который позволяет пользователям легко создавать индивидуальные жесты с помощью монохромной камеры на основе одной демонстрации. Мы используем трансформеры и методы метаобучения для решения задач обучения с малым количеством примеров. В отличие от предыдущих работ, наш метод поддерживает любые комбинации одноручных, двуручных, статических и динамических жестов, включая различные точки обзора. Мы оценили наш метод настройки в ходе пользовательского исследования с 20 жестами, собранными от 21 участника, достигнув средней точности распознавания до 97% на основе одной демонстрации. Наша работа предлагает жизнеспособный путь для настройки жестов на основе компьютерного зрения, закладывая основу для будущих достижений в этой области.

English

Hand gesture recognition is becoming a more prevalent mode of human-computer interaction, especially as cameras proliferate across everyday devices. Despite continued progress in this field, gesture customization is often underexplored. Customization is crucial since it enables users to define and demonstrate gestures that are more natural, memorable, and accessible. However, customization requires efficient usage of user-provided data. We introduce a method that enables users to easily design bespoke gestures with a monocular camera from one demonstration. We employ transformers and meta-learning techniques to address few-shot learning challenges. Unlike prior work, our method supports any combination of one-handed, two-handed, static, and dynamic gestures, including different viewpoints. We evaluated our customization method through a user study with 20 gestures collected from 21 participants, achieving up to 97% average recognition accuracy from one demonstration. Our work provides a viable path for vision-based gesture customization, laying the foundation for future advancements in this domain.