TEDi: 장기간 동작 합성을 위한 시간적 얽힘 확산 모델

초록

샘플을 작은 단위로 점진적으로 합성하는 확산 과정의 점진적 특성은 Denoising Diffusion Probabilistic Models(DDPM)의 핵심 요소로, 이는 이미지 합성에서 전례 없는 품질을 보여주며 최근 모션 도메인에서도 탐구되고 있습니다. 본 연구에서는 확산 시간 축을 따라 작동하는 점진적 확산 개념을 모션 시퀀스의 시간 축에 적용하는 것을 제안합니다. 우리의 핵심 아이디어는 DDPM 프레임워크를 확장하여 시간적으로 변화하는 노이즈 제거를 지원함으로써 두 축을 결합하는 것입니다. 우리의 특수한 공식을 사용하여, 점점 더 노이즈가 추가된 포즈 세트를 포함하는 모션 버퍼를 반복적으로 노이즈 제거함으로써 임의의 길이의 프레임 스트림을 자동 회귀적으로 생성합니다. 고정된 확산 시간 축을 사용하여 각 확산 단계에서 모션의 시간 축만 증가시켜 프레임워크가 새로운 깨끗한 프레임을 생성하도록 하고, 이 프레임은 버퍼의 시작 부분에서 제거된 후 새로 추출된 노이즈 벡터가 버퍼 끝에 추가됩니다. 이 새로운 메커니즘은 캐릭터 애니메이션 및 기타 도메인에 적용 가능한 장기 모션 합성을 위한 새로운 프레임워크로의 길을 열어줍니다.

English

The gradual nature of a diffusion process that synthesizes samples in small increments constitutes a key ingredient of Denoising Diffusion Probabilistic Models (DDPM), which have presented unprecedented quality in image synthesis and been recently explored in the motion domain. In this work, we propose to adapt the gradual diffusion concept (operating along a diffusion time-axis) into the temporal-axis of the motion sequence. Our key idea is to extend the DDPM framework to support temporally varying denoising, thereby entangling the two axes. Using our special formulation, we iteratively denoise a motion buffer that contains a set of increasingly-noised poses, which auto-regressively produces an arbitrarily long stream of frames. With a stationary diffusion time-axis, in each diffusion step we increment only the temporal-axis of the motion such that the framework produces a new, clean frame which is removed from the beginning of the buffer, followed by a newly drawn noise vector that is appended to it. This new mechanism paves the way towards a new framework for long-term motion synthesis with applications to character animation and other domains.

TEDi: 장기간 동작 합성을 위한 시간적 얽힘 확산 모델

TEDi: Temporally-Entangled Diffusion for Long-Term Motion Synthesis

초록

Support