Sincronização de Mãos Duplas para Execução de Guitarra Dextrosa Baseada em Física

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

September 25, 2024

Autores: Pei Xu, Ruocheng Wang

cs.AI

Resumo

Apresentamos uma abordagem inovadora para sintetizar movimentos habilidosos para mãos simuladas fisicamente em tarefas que exigem coordenação entre o controle de duas mãos com alta precisão temporal. Em vez de aprender diretamente uma política conjunta para controlar as duas mãos, nossa abordagem realiza controle bimanual por meio de aprendizado cooperativo, onde cada mão é tratada como um agente individual. As políticas individuais para cada mão são primeiro treinadas separadamente e, em seguida, sincronizadas por meio da manipulação do espaço latente em um ambiente centralizado para servir como uma política conjunta para o controle de duas mãos. Ao fazer isso, evitamos realizar diretamente o aprendizado de políticas no espaço de ação-estado conjunto de duas mãos com dimensões mais altas, melhorando significativamente a eficiência geral do treinamento. Demonstramos a eficácia de nossa abordagem proposta na desafiadora tarefa de tocar guitarra. O guitarrista virtual treinado por nossa abordagem pode sintetizar movimentos a partir de dados de referência não estruturados de práticas gerais de tocar guitarra e tocar com precisão ritmos diversos com padrões complexos de pressionar acordes e tocar cordas com base nas abas de guitarra de entrada que não existem nas referências. Juntamente com este artigo, fornecemos os dados de captura de movimento que coletamos como referência para o treinamento de políticas. O código está disponível em: https://pei-xu.github.io/guitar.

English

We present a novel approach to synthesize dexterous motions for physically simulated hands in tasks that require coordination between the control of two hands with high temporal precision. Instead of directly learning a joint policy to control two hands, our approach performs bimanual control through cooperative learning where each hand is treated as an individual agent. The individual policies for each hand are first trained separately, and then synchronized through latent space manipulation in a centralized environment to serve as a joint policy for two-hand control. By doing so, we avoid directly performing policy learning in the joint state-action space of two hands with higher dimensions, greatly improving the overall training efficiency. We demonstrate the effectiveness of our proposed approach in the challenging guitar-playing task. The virtual guitarist trained by our approach can synthesize motions from unstructured reference data of general guitar-playing practice motions, and accurately play diverse rhythms with complex chord pressing and string picking patterns based on the input guitar tabs that do not exist in the references. Along with this paper, we provide the motion capture data that we collected as the reference for policy training. Code is available at: https://pei-xu.github.io/guitar.