ReHyAt: 비디오 확산 트랜스포머를 위한 순환 하이브리드 어텐션

초록

비디오 확산 모델의 최근 발전은 트랜스포머 기반 아키텍처로 전환되며 최첨단 비디오 생성을 달성했지만, 2차 어텐션 복잡도로 인해 긴 시퀀스에 대한 확장성이 심각하게 제한되는 비용이 발생했습니다. 우리는 소프트맥스 어텐션의 정확도와 선형 어텐션의 효율성을 결합한 Recurrent Hybrid Attention(ReHyAt) 메커니즘을 소개합니다. 이는 청크 단위 순환 재구성과 일정한 메모리 사용을 가능하게 합니다. 동시기에 개발된 선형 전용 SANA Video와 달리, ReHyAt의 하이브리드 설계는 기존 소프트맥스 기반 모델로부터 효율적인 지식 증류를 허용하여 학습 비용을 약 160 GPU 시간으로 두 자릿수 감소시키면서도 품질 면에서 경쟁력을 유지합니다. 우리의 경량화된 증류 및 미세 조정 파이프라인은 향후 최첨단 양방향 소프트맥스 기반 모델에 적용 가능한 방법론을 제공합니다. VBench 및 VBench-2.0에서의 실험과 인간 선호도 조사를 통해 ReHyAt가 어텐션 비용을 2차에서 선형으로 줄이면서도 최첨단 비디오 품질을 달성하여 장기간 및 온디바이스 비디오 생성의 실용적인 확장성을 가능하게 함을 입증했습니다. 프로젝트 페이지는 https://qualcomm-ai-research.github.io/rehyat 에서 확인할 수 있습니다.

English

Recent advances in video diffusion models have shifted towards transformer-based architectures, achieving state-of-the-art video generation but at the cost of quadratic attention complexity, which severely limits scalability for longer sequences. We introduce ReHyAt, a Recurrent Hybrid Attention mechanism that combines the fidelity of softmax attention with the efficiency of linear attention, enabling chunk-wise recurrent reformulation and constant memory usage. Unlike the concurrent linear-only SANA Video, ReHyAt's hybrid design allows efficient distillation from existing softmax-based models, reducing the training cost by two orders of magnitude to ~160 GPU hours, while being competitive in the quality. Our light-weight distillation and finetuning pipeline provides a recipe that can be applied to future state-of-the-art bidirectional softmax-based models. Experiments on VBench and VBench-2.0, as well as a human preference study, demonstrate that ReHyAt achieves state-of-the-art video quality while reducing attention cost from quadratic to linear, unlocking practical scalability for long-duration and on-device video generation. Project page is available at https://qualcomm-ai-research.github.io/rehyat.

ReHyAt: 비디오 확산 트랜스포머를 위한 순환 하이브리드 어텐션

ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers

초록

Support