DYMO-Hair: Универсальное моделирование объемной динамики для манипуляции роботов с волосами

Аннотация

Уход за волосами является важной повседневной задачей, однако он остается недоступным для людей с ограниченной подвижностью и сложным для автономных роботизированных систем из-за тонкой физической структуры и сложной динамики волос. В данной работе мы представляем DYMO-Hair, систему роботизированного ухода за волосами, основанную на модели. Мы предлагаем новый подход к обучению динамике, подходящий для объемных объектов, таких как волосы, который опирается на механизм редактирования скрытых состояний, обусловленных действиями, в сочетании с компактным 3D скрытым пространством разнообразных причесок для повышения обобщаемости. Это скрытое пространство предварительно обучается в масштабе с использованием нового симулятора физики волос, что позволяет обобщать на ранее не встречавшиеся прически. Используя модель динамики с планировщиком Model Predictive Path Integral (MPPI), DYMO-Hair способен выполнять визуальное стилирование волос, ориентированное на цель. Эксперименты в симуляции демонстрируют, что модель динамики DYMO-Hair превосходит базовые подходы в захвате локальных деформаций для разнообразных, ранее не встречавшихся причесок. DYMO-Hair также превосходит базовые подходы в задачах замкнутого цикла стилирования волос на незнакомых прическах, с средним снижением конечной геометрической ошибки на 22% и увеличением успешности на 42% по сравнению с современной системой. Эксперименты в реальных условиях демонстрируют нулевую трансферность нашей системы на парики, достигая стабильного успеха на сложных незнакомых прическах, где современная система терпит неудачу. В совокупности эти результаты закладывают основу для моделирования роботизированного ухода за волосами, продвигаясь к более обобщаемому, гибкому и доступному стилированию волос роботами в неограниченных физических условиях. Дополнительные детали доступны на странице проекта: https://chengyzhao.github.io/DYMOHair-web/.

English

Hair care is an essential daily activity, yet it remains inaccessible to individuals with limited mobility and challenging for autonomous robot systems due to the fine-grained physical structure and complex dynamics of hair. In this work, we present DYMO-Hair, a model-based robot hair care system. We introduce a novel dynamics learning paradigm that is suited for volumetric quantities such as hair, relying on an action-conditioned latent state editing mechanism, coupled with a compact 3D latent space of diverse hairstyles to improve generalizability. This latent space is pre-trained at scale using a novel hair physics simulator, enabling generalization across previously unseen hairstyles. Using the dynamics model with a Model Predictive Path Integral (MPPI) planner, DYMO-Hair is able to perform visual goal-conditioned hair styling. Experiments in simulation demonstrate that DYMO-Hair's dynamics model outperforms baselines on capturing local deformation for diverse, unseen hairstyles. DYMO-Hair further outperforms baselines in closed-loop hair styling tasks on unseen hairstyles, with an average of 22% lower final geometric error and 42% higher success rate than the state-of-the-art system. Real-world experiments exhibit zero-shot transferability of our system to wigs, achieving consistent success on challenging unseen hairstyles where the state-of-the-art system fails. Together, these results introduce a foundation for model-based robot hair care, advancing toward more generalizable, flexible, and accessible robot hair styling in unconstrained physical environments. More details are available on our project page: https://chengyzhao.github.io/DYMOHair-web/.

DYMO-Hair: Универсальное моделирование объемной динамики для манипуляции роботов с волосами

DYMO-Hair: Generalizable Volumetric Dynamics Modeling for Robot Hair Manipulation

Аннотация

Support