스플래니킨: 이중 검색 스플래팅을 이용한 단안 마네킨 챌린지 영상의 동결 기법

초록

단안 Mannequin-Challenge(MC) 동영상으로부터 고품질의 정지된 3D 장면을 합성하는 것은 기존의 동적 장면 재구성과 구별되는 독특한 문제입니다. 우리의 목표는 움직임 모델링에 중점을 두기보다, 사용자 제어 즉시 선택이 가능하도록 미세한 동적 요소를 전략적으로 보존하면서 정지된 장면을 생성하는 것입니다. 이를 위해 동적 Gaussian splatting의 새로운 적용 방식을 제안합니다: 장면을 동적으로 모델링하여 인접 시간대의 변화를 유지한 뒤, 모델의 시간 매개변수를 고정하여 정적 장면을 렌더링합니다. 그러나 이러한 사용 방식에서 단안 촬영과 희소한 시간적 감독은 약하게 감독된 타임스탬프에서 관찰되지 않거나 가려진 Gaussian에 대해 고스트링과 흐림 같은 아티팩트를 유발합니다. 우리는 Gaussian 프리미티브의 두 가지 상태(은닉 상태와 결함 상태)를 감지하고 시간적 고정을 적용하는 아키텍처 비의존적 정규화 방법인 Splannequin을 제안합니다. 주로 전방 카메라 운동이 우세한 상황에서 은닉 상태는 최근 잘 관찰된 과거 상태에, 결함 상태는 더 강력한 감독이 이루어지는 미래 상태에 각각 고정됩니다. 우리의 방법은 간단한 손실 항을 통해 기존 동적 Gaussian 파이프라인에 통합되며, 아키텍처 변경이 필요 없고 추론 시 오버헤드가 전혀 추가되지 않습니다. 그 결과 시각적 품질이 현저히 개선되어 고품질의 사용자 선택 가능 정지 시간 렌더링이 가능하며, 96%의 사용자 선호도로 검증되었습니다. 프로젝트 페이지: https://chien90190.github.io/splannequin/

English

Synthesizing high-fidelity frozen 3D scenes from monocular Mannequin-Challenge (MC) videos is a unique problem distinct from standard dynamic scene reconstruction. Instead of focusing on modeling motion, our goal is to create a frozen scene while strategically preserving subtle dynamics to enable user-controlled instant selection. To achieve this, we introduce a novel application of dynamic Gaussian splatting: the scene is modeled dynamically, which retains nearby temporal variation, and a static scene is rendered by fixing the model's time parameter. However, under this usage, monocular capture with sparse temporal supervision introduces artifacts like ghosting and blur for Gaussians that become unobserved or occluded at weakly supervised timestamps. We propose Splannequin, an architecture-agnostic regularization that detects two states of Gaussian primitives, hidden and defective, and applies temporal anchoring. Under predominantly forward camera motion, hidden states are anchored to their recent well-observed past states, while defective states are anchored to future states with stronger supervision. Our method integrates into existing dynamic Gaussian pipelines via simple loss terms, requires no architectural changes, and adds zero inference overhead. This results in markedly improved visual quality, enabling high-fidelity, user-selectable frozen-time renderings, validated by a 96% user preference. Project page: https://chien90190.github.io/splannequin/

스플래니킨: 이중 검색 스플래팅을 이용한 단안 마네킨 챌린지 영상의 동결 기법

Splannequin: Freezing Monocular Mannequin-Challenge Footage with Dual-Detection Splatting

초록

Support