Personalização de Gestos Manuais Baseada em Visão a Partir de uma Única Demonstração

Vision-Based Hand Gesture Customization from a Single Demonstration

February 13, 2024

Autores: Soroush Shahi, Cori Tymoszek Park, Richard Kang, Asaf Liberman, Oron Levy, Jun Gong, Abdelkareem Bedri, Gierad Laput

cs.AI

Resumo

O reconhecimento de gestos manuais está se tornando um modo mais prevalente de interação humano-computador, especialmente com a proliferação de câmeras em dispositivos do cotidiano. Apesar dos avanços contínuos nesse campo, a personalização de gestos é frequentemente pouco explorada. A personalização é crucial, pois permite que os usuários definam e demonstrem gestos que são mais naturais, memoráveis e acessíveis. No entanto, a personalização requer o uso eficiente dos dados fornecidos pelo usuário. Apresentamos um método que permite aos usuários projetar facilmente gestos personalizados com uma câmera monocul a partir de uma única demonstração. Empregamos técnicas de transformers e meta-aprendizado para abordar os desafios do aprendizado com poucos exemplos. Diferente de trabalhos anteriores, nosso método suporta qualquer combinação de gestos com uma mão, duas mãos, estáticos e dinâmicos, incluindo diferentes pontos de vista. Avaliamos nosso método de personalização por meio de um estudo com usuários, coletando 20 gestos de 21 participantes, alcançando até 97% de precisão média de reconhecimento a partir de uma única demonstração. Nosso trabalho fornece um caminho viável para a personalização de gestos baseada em visão, estabelecendo as bases para avanços futuros nesse domínio.

English

Hand gesture recognition is becoming a more prevalent mode of human-computer interaction, especially as cameras proliferate across everyday devices. Despite continued progress in this field, gesture customization is often underexplored. Customization is crucial since it enables users to define and demonstrate gestures that are more natural, memorable, and accessible. However, customization requires efficient usage of user-provided data. We introduce a method that enables users to easily design bespoke gestures with a monocular camera from one demonstration. We employ transformers and meta-learning techniques to address few-shot learning challenges. Unlike prior work, our method supports any combination of one-handed, two-handed, static, and dynamic gestures, including different viewpoints. We evaluated our customization method through a user study with 20 gestures collected from 21 participants, achieving up to 97% average recognition accuracy from one demonstration. Our work provides a viable path for vision-based gesture customization, laying the foundation for future advancements in this domain.