DiffusionBrowser: 다중 분기 디코더를 통한 대화형 확산 미리보기

초록

비디오 확산 모델은 생성적 비디오 합성에 혁명을 일으켰지만, 정확도가 낮고 생성 속도가 느리며 생성 과정이 불투명하여 사용자가 장시간 동안 결과를 알 수 없는 한계가 있습니다. 본 연구에서는 비디오 노이즈 제거 과정 중 임의의 지점(타임스텝 또는 트랜스포머 블록)에서 사용자가 대화형으로 미리보기를 생성할 수 있는 모델 불가지론적 경량 디코더 프레임워크인 DiffusionBrowser를 제안합니다. 우리 모델은 최종 비디오와 일관된 외관과 움직임을 전달하는 RGB 및 장면 내재적 특성을 포함한 다중 모달 미리보기 표현을 실시간 속도의 4배 이상(4초 길이 비디오 기준 1초 미만)으로 생성할 수 있습니다. 학습된 디코더를 통해 중간 노이즈 단계에서 확률성 재주입 및 모달 조정을 이용해 생성 과정을 대화형으로 유도하는 새로운 제어 기능을 구현 가능함을 보여줍니다. 또한 학습된 디코더를 활용하여 모델을 체계적으로 분석함으로써, 기존에는 블랙박스였던 노이즈 제거 과정 동안 장면, 객체 및 기타 세부 요소가 어떻게 구성되고 조립되는지를 밝혀냅니다.

English

Video diffusion models have revolutionized generative video synthesis, but they are imprecise, slow, and can be opaque during generation -- keeping users in the dark for a prolonged period. In this work, we propose DiffusionBrowser, a model-agnostic, lightweight decoder framework that allows users to interactively generate previews at any point (timestep or transformer block) during the denoising process. Our model can generate multi-modal preview representations that include RGB and scene intrinsics at more than 4times real-time speed (less than 1 second for a 4-second video) that convey consistent appearance and motion to the final video. With the trained decoder, we show that it is possible to interactively guide the generation at intermediate noise steps via stochasticity reinjection and modal steering, unlocking a new control capability. Moreover, we systematically probe the model using the learned decoders, revealing how scene, object, and other details are composed and assembled during the otherwise black-box denoising process.

DiffusionBrowser: 다중 분기 디코더를 통한 대화형 확산 미리보기

DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders

초록

Support