DragMesh: Einfache interaktive 3D-Generierung

DragMesh: Interactive 3D Generation Made Easy

December 6, 2025

Autoren: Tianshan Zhang, Zeyu Zhang, Hao Tang

cs.AI

Zusammenfassung

Während generative Modelle bei der Erstellung statischer 3D-Inhalte hervorragende Ergebnisse erzielen, bleibt die Entwicklung von Systemen, die verstehen, wie sich Objekte bewegen und auf Interaktionen reagieren, eine grundlegende Herausforderung. Aktuelle Methoden für artikulierte Bewegungen stehen an einem Scheideweg: Sie sind entweder physikalisch konsistent, aber für den Echtzeiteinsatz zu langsam, oder generativ, verletzen jedoch grundlegende kinematische Constraints. Wir stellen DragMesh vor, ein robustes Framework für Echtzeit-Interaktion mit 3D-Artikulation, das auf einem leichtgewichtigen Bewegungserzeugungskern aufbaut. Unser zentraler Beitrag ist ein neuartiges Framework, das kinematische Berechnung und Bewegungserzeugung entkoppelt. Zuerst leiten wir die latenten Gelenkparameter ab, indem wir die semantische Absichtsermittlung (die den Gelenktyp bestimmt) von der geometrischen Regression (die Achse und Ursprung mittels unseres Kinematik-Prognosenetzwerks (KPP-Net) bestimmt) entkoppeln. Zweitens entwickeln wir einen neuartigen Dual-Quaternion-VAE (DQ-VAE), um die kompakten, kontinuierlichen und singularitätsfreien Eigenschaften von Dualen Quaternionen zur Darstellung von Starrkörperbewegungen zu nutzen. Dieser DQ-VAE erhält diese vorhergesagten Priors zusammen mit der ursprünglichen Nutzer-Interaktion („Drag“), um eine vollständige, plausible Bewegungstrajektorie zu generieren. Um die strikte Einhaltung der Kinematik zu gewährleisten, injizieren wir die Gelenk-Priors in jeder Schicht des nicht-autoregressiven Transformer-Decoders des DQ-VAE unter Verwendung von FiLM-Conditioning (Feature-wise Linear Modulation). Diese persistente, multiskalige Führung wird durch einen numerisch stabilen Kreuzproduktverlust ergänzt, um die Achsenausrichtung zu garantieren. Dieser entkoppelte Entwurf ermöglicht es DragMesh, Echtzeitleistung zu erzielen und plausible, generative Artikulation bei neuen Objekten ohne Neu-training zu ermöglichen, was einen praktischen Schritt hin zu generativer 3D-Intelligenz darstellt. Code: https://github.com/AIGeeksGroup/DragMesh. Website: https://aigeeksgroup.github.io/DragMesh.

English

While generative models have excelled at creating static 3D content, the pursuit of systems that understand how objects move and respond to interactions remains a fundamental challenge. Current methods for articulated motion lie at a crossroads: they are either physically consistent but too slow for real-time use, or generative but violate basic kinematic constraints. We present DragMesh, a robust framework for real-time interactive 3D articulation built around a lightweight motion generation core. Our core contribution is a novel decoupled kinematic reasoning and motion generation framework. First, we infer the latent joint parameters by decoupling semantic intent reasoning (which determines the joint type) from geometric regression (which determines the axis and origin using our Kinematics Prediction Network (KPP-Net)). Second, to leverage the compact, continuous, and singularity-free properties of dual quaternions for representing rigid body motion, we develop a novel Dual Quaternion VAE (DQ-VAE). This DQ-VAE receives these predicted priors, along with the original user drag, to generate a complete, plausible motion trajectory. To ensure strict adherence to kinematics, we inject the joint priors at every layer of the DQ-VAE's non-autoregressive Transformer decoder using FiLM (Feature-wise Linear Modulation) conditioning. This persistent, multi-scale guidance is complemented by a numerically-stable cross-product loss to guarantee axis alignment. This decoupled design allows DragMesh to achieve real-time performance and enables plausible, generative articulation on novel objects without retraining, offering a practical step toward generative 3D intelligence. Code: https://github.com/AIGeeksGroup/DragMesh. Website: https://aigeeksgroup.github.io/DragMesh.