Sol-Attn: 온더플라이 어텐션 희소화를 통한 비디오 생성 추론 가속화

초록

확산 트랜스포머는 고품질 비디오 생성에 필수적이지만, 긴 토큰 시퀀스로 인해 어텐션(attention)이 추론의 주요 병목 지점이 된다. 학습 불필요(train-free) 동적 희소 어텐션은 선택된 키-값 블록만 계산함으로써 이 병목을 완화하지만, 두 가지 이유로 인해 기존 방법들은 효율적이면서도 정확하게 어텐션을 희소화하는 데 어려움을 겪는다. (1) 경직되고 예측 불가능하며 비용이 많이 드는 라우팅(routing): 프록시 점수에 따라 상위 순위 블록의 고정된 비율을 선택하는 방식은 고정된 예산을 부과하는 반면, 목표 누적 프록시 확률 질량에 도달할 때까지 블록을 유지하는 방식은 동적이지만 불균형적인 예산을 초래할 수 있다. 두 방식 모두 프록시 점수를 계산하고 구체화하는 데 무시할 수 없는 오버헤드가 발생한다. (2) 손실이 있는 유지-폐기 희소화: 선택되지 않은 블록은 완전히 폐기되어, 공격적인 희소성 하에서 정확도를 저하시킨다. 이러한 한계는 정확도 저하를 제한하면서 더 저렴한 동적 예산 라우팅을 필요로 한다. 본 논문에서는 학습 불필요한 Sol-Attn(Sparsifying online attention)을 소개한다. 이 방법은 동적 라우팅, 희소 계산, 근사 보정을 단일 온라인 소프트맥스 패스(online-softmax pass)에서 통합하여 희소 어텐션에서 더 나은 정확도-효율성 절충을 달성한다. Sol-Attn의 핵심은 프록시 점수 재사용을 통한 즉석 블록 임계값 설정(on-the-fly block thresholding)으로, 온라인 소프트맥스 동안 블록 프록시 점수를 임계값과 비교하여 중요한 블록을 선택한다. 이 설계는 프록시 맵을 구체화하지 않으면서도 동적이면서 제어 가능한 블록 예산을 가능하게 하며, 선택되지 않은 블록의 프록시 점수를 직접 재사용하여 그 기여도를 근사한다. 이미지 및 비디오 생성 작업에 걸친 실험은 Sol-Attn이 학습 불필요 희소 어텐션의 품질-효율성 경계선을 개선하며, 비디오 생성 및 편집에서 각각 2.1배 및 2.3배의 종단간 속도 향상을 시각적 품질을 유지하면서 제공함을 보여준다.

English

Diffusion transformers are essential for high-fidelity video generation, but long token sequences make attention a dominant inference bottleneck. Training-free dynamic sparse attention alleviates this bottleneck by computing only selected key-value blocks, yet existing methods struggle to sparsify attention both efficiently and accurately for two reasons: (1) Rigid, unpredictable, and costly routing: selecting a fixed fraction of top-ranked blocks by proxy score imposes fixed budgets, whereas retaining blocks to reach a target cumulative proxy probability mass yields dynamic but potentially imbalanced budgets; both incur non-negligible overhead from computing and materializing proxy scores. (2) Lossy keep-or-drop sparsification: unselected blocks are discarded entirely, degrading accuracy under aggressive sparsity. These limitations motivate cheaper dynamic-budget routing while limiting accuracy degradation. In this paper, we introduce training-free Sol-Attn (Sparsifying online attention), which unifies dynamic routing, sparse computation, and approximation correction in a single online-softmax pass, achieving a better accuracy-efficiency trade-off in sparse attention. The core of Sol-Attn is on-the-fly block thresholding with proxy-score reuse, which selects critical blocks by comparing block proxy scores against a threshold during online softmax. This design enables dynamic yet controllable block budgets without materializing the proxy map, while directly reusing the proxy scores of unselected blocks to approximate their contribution. Experiments across image and video generation tasks show that Sol-Attn advances the quality-efficiency frontier of training-free sparse attention, delivering 2.1 times and 2.3 times end-to-end speedups for video generation and editing, respectively, while preserving visual quality.