사전 지식을 탐색함으로써 텍스트-비디오 합성 성능 향상

Searching Priors Makes Text-to-Video Synthesis Better

June 5, 2024

저자: Haoran Cheng, Liang Peng, Linxuan Xia, Yuepeng Hu, Hengjia Li, Qinglin Lu, Xiaofei He, Boxi Wu

cs.AI

초록

비디오 확산 모델의 상당한 발전은 텍스트-투-비디오(T2V) 합성 분야에 큰 진전을 가져왔습니다. 그러나 기존의 T2V 합성 모델은 복잡한 동작 역학을 정확하게 생성하는 데 어려움을 겪으며, 이로 인해 비디오의 현실감이 감소하는 문제가 발생합니다. 이를 해결하기 위한 한 가지 방법은 방대한 데이터를 수집하여 모델을 학습시키는 것이지만, 이는 매우 비용이 많이 드는 작업입니다. 이 문제를 완화하기 위해, 본 논문에서는 전형적인 T2V 생성 과정을 검색 기반 생성 파이프라인으로 재구성합니다. 모델 학습의 규모를 확장하는 대신, 기존 비디오를 동작 사전 데이터베이스로 활용합니다. 구체적으로, T2V 생성 과정을 두 단계로 나눕니다: (i) 주어진 프롬프트 입력에 대해, 기존 텍스트-비디오 데이터셋을 검색하여 프롬프트의 동작과 가장 근접하게 일치하는 텍스트 레이블이 있는 비디오를 찾습니다. 이때, 객체의 동작 특징을 강조하는 맞춤형 검색 알고리즘을 제안합니다. (ii) 검색된 비디오는 처리 및 정제되어 사전 학습된 기본 T2V 모델을 미세 조정하는 데 사용되는 동작 사전으로 변환된 후, 입력 프롬프트를 사용하여 원하는 비디오를 생성합니다. 검색된 비디오에서 추출된 사전을 활용함으로써, 생성된 비디오의 동작 현실감을 향상시킵니다. 모든 작업은 단일 NVIDIA RTX 4090 GPU에서 완료할 수 있습니다. 우리는 다양한 프롬프트 입력에 대해 최신 T2V 모델과 비교하여 우리의 방법을 검증합니다. 코드는 공개될 예정입니다.

English

Significant advancements in video diffusion models have brought substantial progress to the field of text-to-video (T2V) synthesis. However, existing T2V synthesis model struggle to accurately generate complex motion dynamics, leading to a reduction in video realism. One possible solution is to collect massive data and train the model on it, but this would be extremely expensive. To alleviate this problem, in this paper, we reformulate the typical T2V generation process as a search-based generation pipeline. Instead of scaling up the model training, we employ existing videos as the motion prior database. Specifically, we divide T2V generation process into two steps: (i) For a given prompt input, we search existing text-video datasets to find videos with text labels that closely match the prompt motions. We propose a tailored search algorithm that emphasizes object motion features. (ii) Retrieved videos are processed and distilled into motion priors to fine-tune a pre-trained base T2V model, followed by generating desired videos using input prompt. By utilizing the priors gleaned from the searched videos, we enhance the realism of the generated videos' motion. All operations can be finished on a single NVIDIA RTX 4090 GPU. We validate our method against state-of-the-art T2V models across diverse prompt inputs. The code will be public.