IC-Effect: インコンテキスト学習による精密かつ効率的なビデオ効果編集

要旨

我々はIC-Effectを提案する。これは命令誘導型のDiTベースのフレームワークであり、数ショットの映像VFX編集において複雑な効果（炎、パーティクル、アニメキャラクターなど）を合成しつつ、空間的・時間的一貫性を厳密に保持する。映像VFX編集は、注入された効果が背景とシームレスに調和し、背景は完全に変化せず、効果パターンが限られたペアデータから効率的に学習されねばならないため、極めて困難である。しかし既存の映像編集モデルはこれらの要件を満たせていない。IC-Effectはソース映像をクリーンな文脈条件として活用し、DiTモデルの文脈学習能力を利用して精密な背景保持と自然な効果注入を実現する。一般編集適応とEffect-LoRAによる効果特化学習からなる2段階トレーニング戦略により、強力な命令追従性と頑健な効果モデリングを保証する。効率性向上のため、時空間的疎トークン化を導入し、計算量を大幅に削減しながら高忠実度を実現する。さらに15種類の高品質視覚スタイルに跨るペアVFX編集データセットを公開する。大規模実験により、IC-Effectが高品質で制御可能かつ時間的一貫性のあるVFX編集を実現し、映像制作の新たな可能性を拓くことを示す。

English

We propose IC-Effect, an instruction-guided, DiT-based framework for few-shot video VFX editing that synthesizes complex effects (\eg flames, particles and cartoon characters) while strictly preserving spatial and temporal consistency. Video VFX editing is highly challenging because injected effects must blend seamlessly with the background, the background must remain entirely unchanged, and effect patterns must be learned efficiently from limited paired data. However, existing video editing models fail to satisfy these requirements. IC-Effect leverages the source video as clean contextual conditions, exploiting the contextual learning capability of DiT models to achieve precise background preservation and natural effect injection. A two-stage training strategy, consisting of general editing adaptation followed by effect-specific learning via Effect-LoRA, ensures strong instruction following and robust effect modeling. To further improve efficiency, we introduce spatiotemporal sparse tokenization, enabling high fidelity with substantially reduced computation. We also release a paired VFX editing dataset spanning 15 high-quality visual styles. Extensive experiments show that IC-Effect delivers high-quality, controllable, and temporally consistent VFX editing, opening new possibilities for video creation.

IC-Effect: インコンテキスト学習による精密かつ効率的なビデオ効果編集

IC-Effect: Precise and Efficient Video Effects Editing via In-Context Learning

要旨

Support