비디오 확산 모델의 다목적 제어를 위한 시간적 인-컨텍스트 미세 조정
Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models
June 1, 2025
저자: Kinam Kim, Junha Hyung, Jaegul Choo
cs.AI
초록
텍스트-투-비디오 확산 모델의 최근 발전으로 고품질 비디오 합성이 가능해졌지만, 특히 데이터와 컴퓨팅 자원이 제한된 상황에서 제어 가능한 생성은 여전히 어려운 과제로 남아 있습니다. 조건부 생성을 위한 기존의 미세 조정 방법들은 대부분 외부 인코더나 아키텍처 수정에 의존하며, 이는 대규모 데이터셋을 요구하고 공간적으로 정렬된 조건에 제한되는 경우가 많아 유연성과 확장성이 떨어집니다. 본 연구에서는 사전 학습된 비디오 확산 모델을 다양한 조건부 생성 작업에 적응시키기 위한 효율적이고 다용도적인 접근 방식인 Temporal In-Context Fine-Tuning(TIC-FT)을 소개합니다. 우리의 핵심 아이디어는 조건 프레임과 목표 프레임을 시간 축을 따라 연결하고 점진적으로 노이즈 수준이 증가하는 중간 버퍼 프레임을 삽입하는 것입니다. 이러한 버퍼 프레임은 원활한 전환을 가능하게 하여 미세 조정 과정을 사전 학습된 모델의 시간적 역학과 일치시킵니다. TIC-FT는 아키텍처 변경이 필요 없으며 단 10-30개의 학습 샘플로도 강력한 성능을 달성합니다. 우리는 CogVideoX-5B 및 Wan-14B와 같은 대규모 기본 모델을 사용하여 이미지-투-비디오 및 비디오-투-비디오 생성과 같은 다양한 작업에서 이 방법을 검증했습니다. 광범위한 실험을 통해 TIC-FT가 조건 충실도와 시각적 품질 모두에서 기존의 베이스라인을 능가하며, 학습과 추론 모두에서 매우 효율적임을 보여줍니다. 추가 결과는 https://kinam0252.github.io/TIC-FT/에서 확인할 수 있습니다.
English
Recent advances in text-to-video diffusion models have enabled high-quality
video synthesis, but controllable generation remains challenging, particularly
under limited data and compute. Existing fine-tuning methods for conditional
generation often rely on external encoders or architectural modifications,
which demand large datasets and are typically restricted to spatially aligned
conditioning, limiting flexibility and scalability. In this work, we introduce
Temporal In-Context Fine-Tuning (TIC-FT), an efficient and versatile approach
for adapting pretrained video diffusion models to diverse conditional
generation tasks. Our key idea is to concatenate condition and target frames
along the temporal axis and insert intermediate buffer frames with
progressively increasing noise levels. These buffer frames enable smooth
transitions, aligning the fine-tuning process with the pretrained model's
temporal dynamics. TIC-FT requires no architectural changes and achieves strong
performance with as few as 10-30 training samples. We validate our method
across a range of tasks, including image-to-video and video-to-video
generation, using large-scale base models such as CogVideoX-5B and Wan-14B.
Extensive experiments show that TIC-FT outperforms existing baselines in both
condition fidelity and visual quality, while remaining highly efficient in both
training and inference. For additional results, visit
https://kinam0252.github.io/TIC-FT/