DYMO-Hair: Modelado Volumétrico Generalizable de Dinámicas para la Manipulación Robótica del Cabello

Resumen

El cuidado del cabello es una actividad diaria esencial, pero sigue siendo inaccesible para personas con movilidad limitada y desafiante para sistemas robóticos autónomos debido a la estructura física detallada y la dinámica compleja del cabello. En este trabajo, presentamos DYMO-Hair, un sistema robótico de cuidado capilar basado en modelos. Introducimos un nuevo paradigma de aprendizaje de dinámicas adecuado para cantidades volumétricas como el cabello, que se basa en un mecanismo de edición de estados latentes condicionado por acciones, junto con un espacio latente 3D compacto de diversos peinados para mejorar la generalización. Este espacio latente se pre-entrena a gran escala utilizando un novedoso simulador de física capilar, permitiendo la generalización a peinados no vistos previamente. Utilizando el modelo de dinámicas con un planificador de Integral de Trayectoria Predictiva del Modelo (MPPI), DYMO-Hair es capaz de realizar estilización capilar visual condicionada por objetivos. Los experimentos en simulación demuestran que el modelo de dinámicas de DYMO-Hair supera a los métodos de referencia en la captura de deformaciones locales para diversos peinados no vistos. DYMO-Hair también supera a los métodos de referencia en tareas de estilización capilar en bucle cerrado para peinados no vistos, con un error geométrico final un 22% menor y una tasa de éxito un 42% mayor que el sistema más avanzado. Los experimentos en el mundo real muestran la transferibilidad de nuestro sistema a pelucas sin necesidad de ajuste adicional, logrando un éxito consistente en peinados desafiantes no vistos donde el sistema más avanzado falla. En conjunto, estos resultados establecen una base para el cuidado capilar robótico basado en modelos, avanzando hacia una estilización capilar robótica más generalizable, flexible y accesible en entornos físicos no restringidos. Más detalles están disponibles en nuestra página del proyecto: https://chengyzhao.github.io/DYMOHair-web/.

English

Hair care is an essential daily activity, yet it remains inaccessible to individuals with limited mobility and challenging for autonomous robot systems due to the fine-grained physical structure and complex dynamics of hair. In this work, we present DYMO-Hair, a model-based robot hair care system. We introduce a novel dynamics learning paradigm that is suited for volumetric quantities such as hair, relying on an action-conditioned latent state editing mechanism, coupled with a compact 3D latent space of diverse hairstyles to improve generalizability. This latent space is pre-trained at scale using a novel hair physics simulator, enabling generalization across previously unseen hairstyles. Using the dynamics model with a Model Predictive Path Integral (MPPI) planner, DYMO-Hair is able to perform visual goal-conditioned hair styling. Experiments in simulation demonstrate that DYMO-Hair's dynamics model outperforms baselines on capturing local deformation for diverse, unseen hairstyles. DYMO-Hair further outperforms baselines in closed-loop hair styling tasks on unseen hairstyles, with an average of 22% lower final geometric error and 42% higher success rate than the state-of-the-art system. Real-world experiments exhibit zero-shot transferability of our system to wigs, achieving consistent success on challenging unseen hairstyles where the state-of-the-art system fails. Together, these results introduce a foundation for model-based robot hair care, advancing toward more generalizable, flexible, and accessible robot hair styling in unconstrained physical environments. More details are available on our project page: https://chengyzhao.github.io/DYMOHair-web/.

DYMO-Hair: Modelado Volumétrico Generalizable de Dinámicas para la Manipulación Robótica del Cabello

DYMO-Hair: Generalizable Volumetric Dynamics Modeling for Robot Hair Manipulation

Resumen

Support