DragMesh: Interactieve 3D-generatie gemakkelijk gemaakt

DragMesh: Interactive 3D Generation Made Easy

December 6, 2025

Auteurs: Tianshan Zhang, Zeyu Zhang, Hao Tang

cs.AI

Samenvatting

Hoewel generatieve modellen uitblinken in het creëren van statische 3D-inhoud, blijft het ontwikkelen van systemen die begrijpen hoe objecten bewegen en reageren op interacties een fundamentele uitdaging. Huidige methoden voor gearticuleerde beweging bevinden zich op een kruispunt: ze zijn ofwel fysiek consistent maar te traag voor realtime gebruik, ofwel generatief maar schenden basale kinematische beperkingen. Wij presenteren DragMesh, een robuust framework voor realtime interactieve 3D-articulatie, gebouwd rond een lichtgewicht kern voor bewegingsoppervlakking. Onze belangrijkste bijdrage is een nieuw raamwerk voor ontkoppelde kinematische redenering en bewegingsoppervlakking. Ten eerste leiden we de latente gewrichtsparameters af door semantische intentieberedenering (die het gewrichtstype bepaalt) te ontkoppelen van geometrische regressie (die de as en oorsprong bepaalt met ons Kinematica Predictie Netwerk (KPP-Net)). Ten tweede ontwikkelen we, om gebruik te maken van de compacte, continue en singulariteitsvrije eigenschappen van duale quaternionen voor het representeren van starre-lichaamsbeweging, een nieuwe Duale Quaternion VAE (DQ-VAE). Deze DQ-VAE ontvangt deze voorspelde priors, samen met de originele gebruikersdrag, om een complete, plausibele bewegingsbaan te genereren. Om strikte naleving van de kinematica te garanderen, injecteren we de gewrichtspriors in elke laag van de DQ-VAE's niet-autoregressieve Transformer-decoder met behulp van FiLM-conditionering (Feature-wise Linear Modulation). Deze persistente, multi-schaal begeleiding wordt aangevuld met een numeriek stabiel kruisproductverlies om asuitlijning te garanderen. Dit ontkoppelde ontwerp stelt DragMesh in staat realtime prestaties te bereiken en plausibele, generatieve articulatie op nieuwe objecten mogelijk te maken zonder hertraining, wat een praktische stap vormt richting generatieve 3D-intelligentie. Code: https://github.com/AIGeeksGroup/DragMesh. Website: https://aigeeksgroup.github.io/DragMesh.

English

While generative models have excelled at creating static 3D content, the pursuit of systems that understand how objects move and respond to interactions remains a fundamental challenge. Current methods for articulated motion lie at a crossroads: they are either physically consistent but too slow for real-time use, or generative but violate basic kinematic constraints. We present DragMesh, a robust framework for real-time interactive 3D articulation built around a lightweight motion generation core. Our core contribution is a novel decoupled kinematic reasoning and motion generation framework. First, we infer the latent joint parameters by decoupling semantic intent reasoning (which determines the joint type) from geometric regression (which determines the axis and origin using our Kinematics Prediction Network (KPP-Net)). Second, to leverage the compact, continuous, and singularity-free properties of dual quaternions for representing rigid body motion, we develop a novel Dual Quaternion VAE (DQ-VAE). This DQ-VAE receives these predicted priors, along with the original user drag, to generate a complete, plausible motion trajectory. To ensure strict adherence to kinematics, we inject the joint priors at every layer of the DQ-VAE's non-autoregressive Transformer decoder using FiLM (Feature-wise Linear Modulation) conditioning. This persistent, multi-scale guidance is complemented by a numerically-stable cross-product loss to guarantee axis alignment. This decoupled design allows DragMesh to achieve real-time performance and enables plausible, generative articulation on novel objects without retraining, offering a practical step toward generative 3D intelligence. Code: https://github.com/AIGeeksGroup/DragMesh. Website: https://aigeeksgroup.github.io/DragMesh.