DragMesh : La génération 3D interactive simplifiée

DragMesh: Interactive 3D Generation Made Easy

December 6, 2025

Auteurs: Tianshan Zhang, Zeyu Zhang, Hao Tang

cs.AI

Résumé

Si les modèles génératifs excellent dans la création de contenu 3D statique, la conception de systèmes capables de comprendre comment les objets se déplacent et réagissent aux interactions demeure un défi fondamental. Les méthodes actuelles pour le mouvement articulé se trouvent à la croisée des chemins : elles sont soit physiquement cohérentes mais trop lentes pour un usage en temps réel, soit génératives mais violent les contraintes cinématiques de base. Nous présentons DragMesh, un cadre robuste pour l'articulation 3D interactive en temps réel, construit autour d'un noyau léger de génération de mouvement. Notre contribution principale est un nouveau cadre découplé de raisonnement cinématique et de génération de mouvement. Premièrement, nous inférons les paramètres latents des articulations en découplant le raisonnement sur l'intention sémantique (qui détermine le type d'articulation) de la régression géométrique (qui détermine l'axe et l'origine à l'aide de notre Kinematics Prediction Network, KPP-Net). Deuxièmement, pour tirer parti des propriétés compactes, continues et exemptes de singularité des quaternions doubles pour représenter le mouvement des corps rigides, nous développons un nouveau VAE à quaternions doubles (DQ-VAE). Ce DQ-VAE reçoit ces prérequis prédits, ainsi que la manipulation initiale de l'utilisateur, pour générer une trajectoire de mouvement complète et plausible. Pour garantir un respect strict de la cinématique, nous injectons les prérequis des articulations à chaque couche du décodeur Transformer non-autorégressif du DQ-VAE en utilisant un conditionnement FiLM (Feature-wise Linear Modulation). Cette guidance persistante et multi-échelle est complétée par une fonction de perte basée sur le produit vectoriel, numériquement stable, pour garantir l'alignement de l'axe. Cette conception découplée permet à DragMesh d'atteindre des performances en temps réel et d'offrir une articulation générative plausible sur de nouveaux objets sans réentraînement, représentant une avancée pratique vers l'intelligence 3D générative. Code : https://github.com/AIGeeksGroup/DragMesh. Site web : https://aigeeksgroup.github.io/DragMesh.

English

While generative models have excelled at creating static 3D content, the pursuit of systems that understand how objects move and respond to interactions remains a fundamental challenge. Current methods for articulated motion lie at a crossroads: they are either physically consistent but too slow for real-time use, or generative but violate basic kinematic constraints. We present DragMesh, a robust framework for real-time interactive 3D articulation built around a lightweight motion generation core. Our core contribution is a novel decoupled kinematic reasoning and motion generation framework. First, we infer the latent joint parameters by decoupling semantic intent reasoning (which determines the joint type) from geometric regression (which determines the axis and origin using our Kinematics Prediction Network (KPP-Net)). Second, to leverage the compact, continuous, and singularity-free properties of dual quaternions for representing rigid body motion, we develop a novel Dual Quaternion VAE (DQ-VAE). This DQ-VAE receives these predicted priors, along with the original user drag, to generate a complete, plausible motion trajectory. To ensure strict adherence to kinematics, we inject the joint priors at every layer of the DQ-VAE's non-autoregressive Transformer decoder using FiLM (Feature-wise Linear Modulation) conditioning. This persistent, multi-scale guidance is complemented by a numerically-stable cross-product loss to guarantee axis alignment. This decoupled design allows DragMesh to achieve real-time performance and enables plausible, generative articulation on novel objects without retraining, offering a practical step toward generative 3D intelligence. Code: https://github.com/AIGeeksGroup/DragMesh. Website: https://aigeeksgroup.github.io/DragMesh.