単一のデモンストレーションに基づく視覚ベースの手ジェスチャーカスタマイズ

Vision-Based Hand Gesture Customization from a Single Demonstration

February 13, 2024

著者: Soroush Shahi, Cori Tymoszek Park, Richard Kang, Asaf Liberman, Oron Levy, Jun Gong, Abdelkareem Bedri, Gierad Laput

cs.AI

要旨

ハンドジェスチャ認識は、特に日常的なデバイスにカメラが普及するにつれて、人間とコンピュータのインタラクションの主要なモードとなりつつある。この分野では継続的な進展が見られるものの、ジェスチャのカスタマイズはしばしば十分に検討されていない。カスタマイズは、ユーザーがより自然で覚えやすく、アクセスしやすいジェスチャを定義し、実演することを可能にするため、極めて重要である。しかし、カスタマイズにはユーザー提供データの効率的な活用が求められる。本研究では、単眼カメラを用いて1回の実演から簡単に独自のジェスチャを設計できる手法を提案する。我々は、few-shot学習の課題に対処するためにトランスフォーマーとメタ学習技術を採用した。従来の研究とは異なり、本手法は片手、両手、静的、動的のあらゆる組み合わせのジェスチャ、および異なる視点をサポートする。21名の参加者から収集した20種類のジェスチャを用いたユーザー調査を通じてカスタマイズ手法を評価し、1回の実演から平均97%の認識精度を達成した。本研究は、視覚ベースのジェスチャカスタマイズの実現可能な道筋を示し、この分野の今後の進展の基盤を築くものである。

English

Hand gesture recognition is becoming a more prevalent mode of human-computer interaction, especially as cameras proliferate across everyday devices. Despite continued progress in this field, gesture customization is often underexplored. Customization is crucial since it enables users to define and demonstrate gestures that are more natural, memorable, and accessible. However, customization requires efficient usage of user-provided data. We introduce a method that enables users to easily design bespoke gestures with a monocular camera from one demonstration. We employ transformers and meta-learning techniques to address few-shot learning challenges. Unlike prior work, our method supports any combination of one-handed, two-handed, static, and dynamic gestures, including different viewpoints. We evaluated our customization method through a user study with 20 gestures collected from 21 participants, achieving up to 97% average recognition accuracy from one demonstration. Our work provides a viable path for vision-based gesture customization, laying the foundation for future advancements in this domain.