InfinityEdit: 경량 편집-점화 어댑터를 통한 무한 비디오 편집

초록

대규모 사전 학습 모델을 통해 기존 방법들은 지시 기반 비디오 편집을 효과적으로 개선해 왔다. 그러나 대부분의 방법은 제자리 편집 가정에 의존한다. 이들은 편집된 비디오를 주어진 소스 클립과 고정된 시간 범위에 걸쳐 프레임별로 정렬한다. 이러한 패턴은 끝이 없는 스트림, 예를 들어 라이브 게임의 스타일을 변경하거나 진행 중인 샷에 카메라 이동을 적용하는 경우에는 실패한다. 이러한 경우 편집은 정적 입력 클립에 적용되는 대신 도착하는 향후 프레임으로 확장되어야 한다. 본 논문에서는 이러한 설정을 연구하고 이를 무한 비디오 편집이라고 명명한다. 이전 세그먼트와 편집 요청이 주어지면, 모델은 요청된 편집을 적용하면서 스트림을 계속하는 다음 세그먼트를 생성해야 한다. 이 과정은 무한한 편집 지시 시퀀스가 도착함에 따라 반복된다. 이 작업은 두 가지 도전 과제를 제기한다. 편집은 프레임별 재작성이 아니라 충실한 연속이어야 하며, 편집이 누적됨에 따라 생성 품질이 안정적으로 유지되어야 한다. 이를 해결하기 위해, 먼저 무한 비디오 편집을 위한 데이터 수집 파이프라인을 설계한다. 수집된 데이터를 기반으로, 우리는 스트리밍 비디오 생성기에 무한 편집 능력을 부여하는 경량 편집 어댑터인 InfinityEdit를 제안한다. 어댑터는 세 가지 어텐션 모듈을 포함한다. 히스토리 교차 어텐션은 입력 프레임을 사용하여 디노이징 프레임을 안내한다. 시간적 인과 자기 어텐션은 시간적 단서가 이전 프레임에서 이후 프레임으로만 흐르도록 유지한다. 편집 교차 어텐션은 편집 요청을 생성 과정에 주입한다. 추론 중에는 어댑터가 편집 요청이 도착하는 청크에서만 활성화된다. 후속 청크는 리셋된 앵커 프레임을 사용하여 원래 모델에 의해 생성된다. 이 방식은 원래 모델의 무한 생성 능력을 보존하면서 편집을 적용한다. 광범위한 실험을 통해 InfinityEdit가 각 편집 하에서 스트림을 충실히 계속하고, 무한한 편집 시퀀스에서도 안정적으로 유지됨을 보여준다.

English

With large pretrained models, existing methods have effectively improved instruction-based video editing. However, most of them rely on an in-place editing assumption. They align the edited video with the given source clip frame by frame over a fixed time span. This pattern fails for open-ended streams, e.g., restyling a live game or applying a camera move to an ongoing shot. In such cases, edits must extend to future frames as they arrive, rather than be applied to a static input clip. In this paper, we study this setting and name it infinite video editing: given a preceding segment and an edit request, a model must generate the next segment that continues the stream while applying the requested edit. This process repeats as an unbounded sequence of edit instructions arrives. This task brings two challenges: the edit must be a faithful continuation rather than a frame-wise rewrite, and generation quality must remain stable as edits accumulate. To address them, we first design a data-collection pipeline for infinite video editing. Based on the collected data, we propose InfinityEdit, a lightweight edit adapter that equips a streaming video generator with unbounded editing ability. The adapter contains three attention modules. History cross-attention guides the denoising frames using the input frames. Temporal causal self-attention keeps temporal cues flowing only from earlier frames to later ones. Edit cross-attention injects the edit request into generation. During inference, the adapter is activated only in the chunk where an edit request arrives. Subsequent chunks are generated by the original model with a reset anchor frame. This scheme applies the edit while preserving the original model's infinite generation ability. Extensive experiments show that InfinityEdit faithfully continues the stream under each edit, and stays stable over unbounded edit sequences.