Splannequin: Bevriezing van Monoculaire Mannequin-Challenge Beelden met Dual-Detection Splatting

Splannequin: Freezing Monocular Mannequin-Challenge Footage with Dual-Detection Splatting

December 4, 2025

Auteurs: Hao-Jen Chien, Yi-Chuan Huang, Chung-Ho Wu, Wei-Lun Chao, Yu-Lun Liu

cs.AI

Samenvatting

Het synthetiseren van hoogwaardige bevroren 3D-scènes uit monocular Mannequin-Challenge (MC) video's vormt een uniek probleem dat verschilt van standaard reconstructie van dynamische scènes. In plaats van ons te richten op het modelleren van beweging, is ons doel een bevroren scène te creëren waarbij we strategisch subtiele dynamiek behouden om door de gebruiker gecontroleerde instant-selectie mogelijk te maken. Om dit te bereiken, introduceren we een nieuwe toepassing van dynamisch Gaussian splatting: de scène wordt dynamisch gemodelleerd, wat temporele variatie in de nabije omgeving behoudt, en een statische scène wordt weergegeven door de tijdsparameter van het model vast te zetten. Bij deze toepassing introduceert monocular capture met sparse temporele supervisie echter artefacten zoals ghosting en vervaging voor Gaussians die onwaargenomen of geoccludeerd raken op zwak gesuperviseerde tijdstempels. Wij stellen Splannequin voor, een architectuuronafhankelijke regularisatie die twee toestanden van Gaussian primitieven detecteert, verborgen en defect, en temporele ankerplaatsing toepast. Onder overwegend voorwaartse camerabeweging worden verborgen toestanden verankerd aan hun recente, goed waargenomen verleden toestanden, terwijl defecte toestanden worden verankerd aan toekomstige toestanden met sterkere supervisie. Onze methode integreert in bestaande dynamische Gaussian pijplijnen via eenvoudige verliestermen, vereist geen architectuurwijzigingen en voegt geen extra rekentijd toe tijdens inferentie. Dit resulteert in een aanzienlijk verbeterde visuele kwaliteit, waardoor hoogwaardige, door de gebruiker selecteerbare bevroren-tijd weergaven mogelijk worden, gevalideerd door een gebruikersvoorkeur van 96%. Projectpagina: https://chien90190.github.io/splannequin/

English

Synthesizing high-fidelity frozen 3D scenes from monocular Mannequin-Challenge (MC) videos is a unique problem distinct from standard dynamic scene reconstruction. Instead of focusing on modeling motion, our goal is to create a frozen scene while strategically preserving subtle dynamics to enable user-controlled instant selection. To achieve this, we introduce a novel application of dynamic Gaussian splatting: the scene is modeled dynamically, which retains nearby temporal variation, and a static scene is rendered by fixing the model's time parameter. However, under this usage, monocular capture with sparse temporal supervision introduces artifacts like ghosting and blur for Gaussians that become unobserved or occluded at weakly supervised timestamps. We propose Splannequin, an architecture-agnostic regularization that detects two states of Gaussian primitives, hidden and defective, and applies temporal anchoring. Under predominantly forward camera motion, hidden states are anchored to their recent well-observed past states, while defective states are anchored to future states with stronger supervision. Our method integrates into existing dynamic Gaussian pipelines via simple loss terms, requires no architectural changes, and adds zero inference overhead. This results in markedly improved visual quality, enabling high-fidelity, user-selectable frozen-time renderings, validated by a 96% user preference. Project page: https://chien90190.github.io/splannequin/