SVG: 노이즈 제거 프레임 행렬을 통한 3D 입체 영상 생성

SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix

June 29, 2024

저자: Peng Dai, Feitong Tan, Qiangeng Xu, David Futschik, Ruofei Du, Sean Fanello, Xiaojuan Qi, Yinda Zhang

cs.AI

초록

비디오 생성 모델은 인상적인 단안 비디오를 생성하는 데 있어 뛰어난 능력을 보여주었지만, 3D 입체 비디오 생성은 아직 충분히 탐구되지 않은 분야입니다. 우리는 기성 단안 비디오 생성 모델을 활용하여 3D 입체 비디오를 생성하는 포즈가 필요 없고 학습이 필요 없는 접근 방식을 제안합니다. 우리의 방법은 생성된 단안 비디오를 추정된 비디오 깊이를 사용하여 입체 기준선 상의 카메라 뷰로 변형하고, 새로운 프레임 매트릭스 비디오 인페인팅 프레임워크를 사용합니다. 이 프레임워크는 비디오 생성 모델을 활용하여 서로 다른 타임스탬프와 뷰에서 관찰된 프레임을 인페인팅합니다. 이 효과적인 접근 방식은 장면 최적화나 모델 미세 조정 없이도 일관되고 의미적으로 일관된 입체 비디오를 생성합니다. 또한, 우리는 잠재 공간에서 비가려진 영역으로부터 전파되는 부정적인 영향을 완화하여 비디오 인페인팅의 품질을 더욱 개선하는 비가려짐 경계 재주입 기법을 개발했습니다. 우리는 Sora [4], Lumiere [2], WALT [8], Zeroscope [42] 등 다양한 생성 모델의 비디오에 대해 실험을 수행하여 제안된 방법의 효능을 검증했습니다. 실험 결과, 우리의 방법이 이전 방법들에 비해 상당한 개선을 보여주었음을 확인했습니다. 코드는 https://daipengwa.github.io/SVG_ProjectPage에서 공개될 예정입니다.

English

Video generation models have demonstrated great capabilities of producing impressive monocular videos, however, the generation of 3D stereoscopic video remains under-explored. We propose a pose-free and training-free approach for generating 3D stereoscopic videos using an off-the-shelf monocular video generation model. Our method warps a generated monocular video into camera views on stereoscopic baseline using estimated video depth, and employs a novel frame matrix video inpainting framework. The framework leverages the video generation model to inpaint frames observed from different timestamps and views. This effective approach generates consistent and semantically coherent stereoscopic videos without scene optimization or model fine-tuning. Moreover, we develop a disocclusion boundary re-injection scheme that further improves the quality of video inpainting by alleviating the negative effects propagated from disoccluded areas in the latent space. We validate the efficacy of our proposed method by conducting experiments on videos from various generative models, including Sora [4 ], Lumiere [2], WALT [8 ], and Zeroscope [ 42]. The experiments demonstrate that our method has a significant improvement over previous methods. The code will be released at https://daipengwa.github.io/SVG_ProjectPage.