DragMesh: Generación Interactiva de Contenido 3D Simplificada

DragMesh: Interactive 3D Generation Made Easy

December 6, 2025

Autores: Tianshan Zhang, Zeyu Zhang, Hao Tang

cs.AI

Resumen

Si bien los modelos generativos han sobresalido en la creación de contenido 3D estático, la búsqueda de sistemas que comprendan cómo se mueven los objetos y responden a las interacciones sigue siendo un desafío fundamental. Los métodos actuales para el movimiento articulado se encuentran en una encrucijada: son físicamente consistentes pero demasiado lentos para su uso en tiempo real, o son generativos pero violan restricciones cinemáticas básicas. Presentamos DragMesh, un marco robusto para la articulación 3D interactiva en tiempo real construido alrededor de un núcleo ligero de generación de movimiento. Nuestra contribución principal es un marco novedoso de razonamiento cinemático y generación de movimiento desacoplados. Primero, inferimos los parámetros latentes de la articulación desacoplando el razonamiento de la intención semántica (que determina el tipo de articulación) de la regresión geométrica (que determina el eje y el origen utilizando nuestra Red de Predicción Cinemática (KPP-Net)). En segundo lugar, para aprovechar las propiedades compactas, continuas y libres de singularidades de los cuaterniones duales para representar el movimiento de cuerpo rígido, desarrollamos un nuevo VAE de Cuaterniones Duales (DQ-VAE). Este DQ-VAE recibe estos priores pronosticados, junto con el arrastre original del usuario, para generar una trayectoria de movimiento completa y plausible. Para garantizar el estricto cumplimiento de la cinemática, inyectamos los priores de la articulación en cada capa del decodificador Transformer no autoregresivo del DQ-VAE utilizando el acondicionamiento FiLM (Feature-wise Linear Modulation). Esta guía persistente y multiescala se complementa con una función de pérdida de producto vectorial numéricamente estable para garantizar la alineación del eje. Este diseño desacoplado permite a DragMesh lograr rendimiento en tiempo real y permite una articulación generativa plausible en objetos nuevos sin necesidad de reentrenamiento, ofreciendo un paso práctico hacia la inteligencia generativa en 3D. Código: https://github.com/AIGeeksGroup/DragMesh. Sitio web: https://aigeeksgroup.github.io/DragMesh.

English

While generative models have excelled at creating static 3D content, the pursuit of systems that understand how objects move and respond to interactions remains a fundamental challenge. Current methods for articulated motion lie at a crossroads: they are either physically consistent but too slow for real-time use, or generative but violate basic kinematic constraints. We present DragMesh, a robust framework for real-time interactive 3D articulation built around a lightweight motion generation core. Our core contribution is a novel decoupled kinematic reasoning and motion generation framework. First, we infer the latent joint parameters by decoupling semantic intent reasoning (which determines the joint type) from geometric regression (which determines the axis and origin using our Kinematics Prediction Network (KPP-Net)). Second, to leverage the compact, continuous, and singularity-free properties of dual quaternions for representing rigid body motion, we develop a novel Dual Quaternion VAE (DQ-VAE). This DQ-VAE receives these predicted priors, along with the original user drag, to generate a complete, plausible motion trajectory. To ensure strict adherence to kinematics, we inject the joint priors at every layer of the DQ-VAE's non-autoregressive Transformer decoder using FiLM (Feature-wise Linear Modulation) conditioning. This persistent, multi-scale guidance is complemented by a numerically-stable cross-product loss to guarantee axis alignment. This decoupled design allows DragMesh to achieve real-time performance and enables plausible, generative articulation on novel objects without retraining, offering a practical step toward generative 3D intelligence. Code: https://github.com/AIGeeksGroup/DragMesh. Website: https://aigeeksgroup.github.io/DragMesh.