DYMO-Hair: Generalisierbare volumetrische Dynamikmodellierung für die Roboter-Haarmanipulation

papers.abstract

Haarpflege ist eine wesentliche tägliche Aktivität, bleibt jedoch für Personen mit eingeschränkter Mobilität unzugänglich und stellt eine Herausforderung für autonome Robotersysteme dar, bedingt durch die feingliedrige physische Struktur und die komplexe Dynamik von Haaren. In dieser Arbeit präsentieren wir DYMO-Hair, ein modellbasiertes Robotersystem zur Haarpflege. Wir führen ein neuartiges Paradigma zum Erlernen der Dynamik ein, das für volumetrische Größen wie Haare geeignet ist und auf einem aktionsbedingten Mechanismus zur Bearbeitung latenter Zustände basiert, gekoppelt mit einem kompakten 3D-Latenzraum verschiedener Frisuren, um die Generalisierbarkeit zu verbessern. Dieser Latenzraum wird in großem Maßstab mit einem neuartigen Haarsimulator vorab trainiert, wodurch eine Generalisierung über bisher unbekannte Frisuren ermöglicht wird. Durch die Verwendung des Dynamikmodells mit einem Model Predictive Path Integral (MPPI)-Planer ist DYMO-Hair in der Lage, visuell zielbedingte Haarstyling-Aufgaben durchzuführen. Experimente in der Simulation zeigen, dass das Dynamikmodell von DYMO-Hair Baselines bei der Erfassung lokaler Verformungen für diverse, unbekannte Frisuren übertrifft. DYMO-Hair übertrifft Baselines weiterhin in geschlossenen Haarstyling-Aufgaben bei unbekannten Frisuren, mit einem durchschnittlich 22 % geringeren finalen geometrischen Fehler und einer 42 % höheren Erfolgsrate als das state-of-the-art System. Reale Experimente zeigen die Null-Shot-Übertragbarkeit unseres Systems auf Perücken, wobei konsistente Erfolge bei herausfordernden, unbekannten Frisuren erzielt werden, bei denen das state-of-the-art System scheitert. Zusammengenommen legen diese Ergebnisse eine Grundlage für modellbasierte Roboter-Haarpflege und schreiten voran in Richtung generalisierbarer, flexibler und zugänglicher Roboter-Haarstyling in unbegrenzten physischen Umgebungen. Weitere Details sind auf unserer Projektseite verfügbar: https://chengyzhao.github.io/DYMOHair-web/.

English

Hair care is an essential daily activity, yet it remains inaccessible to individuals with limited mobility and challenging for autonomous robot systems due to the fine-grained physical structure and complex dynamics of hair. In this work, we present DYMO-Hair, a model-based robot hair care system. We introduce a novel dynamics learning paradigm that is suited for volumetric quantities such as hair, relying on an action-conditioned latent state editing mechanism, coupled with a compact 3D latent space of diverse hairstyles to improve generalizability. This latent space is pre-trained at scale using a novel hair physics simulator, enabling generalization across previously unseen hairstyles. Using the dynamics model with a Model Predictive Path Integral (MPPI) planner, DYMO-Hair is able to perform visual goal-conditioned hair styling. Experiments in simulation demonstrate that DYMO-Hair's dynamics model outperforms baselines on capturing local deformation for diverse, unseen hairstyles. DYMO-Hair further outperforms baselines in closed-loop hair styling tasks on unseen hairstyles, with an average of 22% lower final geometric error and 42% higher success rate than the state-of-the-art system. Real-world experiments exhibit zero-shot transferability of our system to wigs, achieving consistent success on challenging unseen hairstyles where the state-of-the-art system fails. Together, these results introduce a foundation for model-based robot hair care, advancing toward more generalizable, flexible, and accessible robot hair styling in unconstrained physical environments. More details are available on our project page: https://chengyzhao.github.io/DYMOHair-web/.

DYMO-Hair: Generalisierbare volumetrische Dynamikmodellierung für die Roboter-Haarmanipulation

DYMO-Hair: Generalizable Volumetric Dynamics Modeling for Robot Hair Manipulation

papers.abstract

Support