Sincronización de Manos Dobles para Tocar la Guitarra con Destreza Basada en Física

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

September 25, 2024

Autores: Pei Xu, Ruocheng Wang

cs.AI

Resumen

Presentamos un enfoque novedoso para sintetizar movimientos hábiles para manos simuladas físicamente en tareas que requieren coordinación entre el control de dos manos con alta precisión temporal. En lugar de aprender directamente una política conjunta para controlar dos manos, nuestro enfoque realiza un control bimanual a través de un aprendizaje cooperativo donde cada mano es tratada como un agente individual. Las políticas individuales para cada mano se entrenan primero por separado y luego se sincronizan a través de la manipulación del espacio latente en un entorno centralizado para servir como una política conjunta para el control de dos manos. Al hacerlo, evitamos realizar directamente el aprendizaje de políticas en el espacio de estado-acción conjunto de dos manos con dimensiones más altas, mejorando significativamente la eficiencia general del entrenamiento. Demostramos la efectividad de nuestro enfoque propuesto en la desafiante tarea de tocar la guitarra. El guitarrista virtual entrenado con nuestro enfoque puede sintetizar movimientos a partir de datos de referencia no estructurados de prácticas generales de tocar la guitarra, y tocar con precisión ritmos diversos con patrones complejos de presión de acordes y selección de cuerdas basados en las pestañas de guitarra de entrada que no existen en las referencias. Junto con este documento, proporcionamos los datos de captura de movimiento que recopilamos como referencia para el entrenamiento de políticas. El código está disponible en: https://pei-xu.github.io/guitar.

English

We present a novel approach to synthesize dexterous motions for physically simulated hands in tasks that require coordination between the control of two hands with high temporal precision. Instead of directly learning a joint policy to control two hands, our approach performs bimanual control through cooperative learning where each hand is treated as an individual agent. The individual policies for each hand are first trained separately, and then synchronized through latent space manipulation in a centralized environment to serve as a joint policy for two-hand control. By doing so, we avoid directly performing policy learning in the joint state-action space of two hands with higher dimensions, greatly improving the overall training efficiency. We demonstrate the effectiveness of our proposed approach in the challenging guitar-playing task. The virtual guitarist trained by our approach can synthesize motions from unstructured reference data of general guitar-playing practice motions, and accurately play diverse rhythms with complex chord pressing and string picking patterns based on the input guitar tabs that do not exist in the references. Along with this paper, we provide the motion capture data that we collected as the reference for policy training. Code is available at: https://pei-xu.github.io/guitar.