불릿타임: 비디오 생성에서 시간과 카메라 포즈의 분리된 제어

초록

최신 비디오 확산 모델은 높은 시각적 정확도를 달성하지만 장면 동역학과 카메라 모션을 근본적으로 결합하여 정밀한 공간 및 시간적 제어 능력이 제한됩니다. 본 연구에서는 장면 동역학과 카메라 포즈를 명시적으로 분리하여 장면 동역학과 카메라 시점 모두 세밀하게 조작할 수 있는 4D 제어 가능 비디오 확산 프레임워크를 소개합니다. 우리 프레임워크는 연속적인 세계-시간 시퀀스와 카메라 궤적을 조건 입력으로 받아 어텐션 레이어의 4D 위치 인코딩과 특징 변조를 위한 적응형 정규화를 통해 비디오 확산 모델에 주입합니다. 이 모델을 학습시키기 위해 시간적 변화와 카메라 변화가 독립적으로 매개변수화된 고유한 데이터셋을 구축했으며, 해당 데이터셋은 공개될 예정입니다. 실험 결과, 우리 모델은 다양한 타이밍 패턴과 카메라 궤적에 걸쳐 강력한 실제 세계 4D 제어를 달성하면서도 높은 생성 품질을 유지하고 제어성 측면에서 기존 연구를 능가하는 성능을 보여줍니다. 비디오 결과는 다음 웹사이트에서 확인할 수 있습니다: https://19reborn.github.io/Bullet4D/

English

Emerging video diffusion models achieve high visual fidelity but fundamentally couple scene dynamics with camera motion, limiting their ability to provide precise spatial and temporal control. We introduce a 4D-controllable video diffusion framework that explicitly decouples scene dynamics from camera pose, enabling fine-grained manipulation of both scene dynamics and camera viewpoint. Our framework takes continuous world-time sequences and camera trajectories as conditioning inputs, injecting them into the video diffusion model through a 4D positional encoding in the attention layer and adaptive normalizations for feature modulation. To train this model, we curate a unique dataset in which temporal and camera variations are independently parameterized; this dataset will be made public. Experiments show that our model achieves robust real-world 4D control across diverse timing patterns and camera trajectories, while preserving high generation quality and outperforming prior work in controllability. See our website for video results: https://19reborn.github.io/Bullet4D/

불릿타임: 비디오 생성에서 시간과 카메라 포즈의 분리된 제어

BulletTime: Decoupled Control of Time and Camera Pose for Video Generation

초록

Support