Splannequin: Congelamento di Filmati Monoscopici Mannequin-Challenge mediante Splatting a Doppia Rilevazione
Splannequin: Freezing Monocular Mannequin-Challenge Footage with Dual-Detection Splatting
December 4, 2025
Autori: Hao-Jen Chien, Yi-Chuan Huang, Chung-Ho Wu, Wei-Lun Chao, Yu-Lun Liu
cs.AI
Abstract
La sintesi di scene 3D congelate ad alta fedeltà a partire da video monoculari della Mannequin Challenge (MC) costituisce un problema unico, distinto dalla ricostruzione standard di scene dinamiche. Invece di concentrarci sulla modellazione del movimento, il nostro obiettivo è creare una scena congelata preservando strategicamente dinamiche sottili per consentire una selezione istantanea controllata dall'utente. Per raggiungere questo scopo, introduciamo una nuova applicazione del dynamic Gaussian splatting: la scena è modellata dinamicamente, il che conserva la variazione temporale ravvicinata, e una scena statica viene renderizzata fissando il parametro temporale del modello. Tuttavia, in questo contesto, una cattura monoculare con supervisione temporale rada introduce artefatti come ghosting e sfocature per i Gaussiani che diventano non osservati od occlusi in timestamp con supervisione debole. Proponiamo Splannequin, una regolarizzazione indipendente dall'architettura che rileva due stati dei primitivi Gaussiani, nascosto e difettoso, e applica un ancoraggio temporale. Sotto un movimento predominante della camera in avanti, gli stati nascosti sono ancorati ai loro recenti stati passati ben osservati, mentre gli stati difettosi sono ancorati a stati futuri con supervisione più forte. Il nostro metodo si integra nelle pipeline esistenti di Gaussiani dinamici tramite semplici termini di loss, non richiede modifiche architetturali e aggiunge zero overhead in inferenza. Ciò si traduce in un miglioramento marcato della qualità visiva, abilitando renderizzazioni a tempo congelato, ad alta fedeltà e selezionabili dall'utente, convalidate da una preferenza utente del 96%. Pagina del progetto: https://chien90190.github.io/splannequin/
English
Synthesizing high-fidelity frozen 3D scenes from monocular Mannequin-Challenge (MC) videos is a unique problem distinct from standard dynamic scene reconstruction. Instead of focusing on modeling motion, our goal is to create a frozen scene while strategically preserving subtle dynamics to enable user-controlled instant selection. To achieve this, we introduce a novel application of dynamic Gaussian splatting: the scene is modeled dynamically, which retains nearby temporal variation, and a static scene is rendered by fixing the model's time parameter. However, under this usage, monocular capture with sparse temporal supervision introduces artifacts like ghosting and blur for Gaussians that become unobserved or occluded at weakly supervised timestamps. We propose Splannequin, an architecture-agnostic regularization that detects two states of Gaussian primitives, hidden and defective, and applies temporal anchoring. Under predominantly forward camera motion, hidden states are anchored to their recent well-observed past states, while defective states are anchored to future states with stronger supervision. Our method integrates into existing dynamic Gaussian pipelines via simple loss terms, requires no architectural changes, and adds zero inference overhead. This results in markedly improved visual quality, enabling high-fidelity, user-selectable frozen-time renderings, validated by a 96% user preference. Project page: https://chien90190.github.io/splannequin/