Синхронизация двух рук для физически основанной ловкости игры на гитаре.

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

September 25, 2024

Авторы: Pei Xu, Ruocheng Wang

cs.AI

Аннотация

Мы представляем новый подход к синтезу ловких движений для физически моделируемых рук в задачах, требующих координации управления двумя руками с высокой временной точностью. Вместо прямого обучения совместной стратегии для управления двумя руками наш подход осуществляет бимануальное управление через кооперативное обучение, где каждая рука рассматривается как отдельный агент. Индивидуальные стратегии для каждой руки сначала обучаются отдельно, а затем синхронизируются через манипуляцию латентным пространством в централизованной среде для использования в качестве совместной стратегии для управления двумя руками. Таким образом, мы избегаем прямого обучения стратегии в совместном пространстве состояний-действий двух рук с более высокими размерностями, что значительно повышает общую эффективность обучения. Мы демонстрируем эффективность нашего предложенного подхода в сложной задаче игры на гитаре. Виртуальный гитарист, обученный нашим подходом, способен синтезировать движения из неструктурированных исходных данных об общих движениях игры на гитаре и точно играть разнообразные ритмы с сложными аккордовыми нажатиями и выбором струн на основе входных гитарных табулатур, которых нет в исходных данных. Вместе с этой статьей мы предоставляем данные захвата движения, которые мы собрали в качестве исходных данных для обучения стратегии. Код доступен по ссылке: https://pei-xu.github.io/guitar.

English

We present a novel approach to synthesize dexterous motions for physically simulated hands in tasks that require coordination between the control of two hands with high temporal precision. Instead of directly learning a joint policy to control two hands, our approach performs bimanual control through cooperative learning where each hand is treated as an individual agent. The individual policies for each hand are first trained separately, and then synchronized through latent space manipulation in a centralized environment to serve as a joint policy for two-hand control. By doing so, we avoid directly performing policy learning in the joint state-action space of two hands with higher dimensions, greatly improving the overall training efficiency. We demonstrate the effectiveness of our proposed approach in the challenging guitar-playing task. The virtual guitarist trained by our approach can synthesize motions from unstructured reference data of general guitar-playing practice motions, and accurately play diverse rhythms with complex chord pressing and string picking patterns based on the input guitar tabs that do not exist in the references. Along with this paper, we provide the motion capture data that we collected as the reference for policy training. Code is available at: https://pei-xu.github.io/guitar.