Safe-Sora: グラフィカル透かしによる安全なテキストから動画生成

Safe-Sora: Safe Text-to-Video Generation via Graphical Watermarking

May 19, 2025

著者: Zihan Su, Xuerui Qiu, Hongbin Xu, Tangyu Jiang, Junhao Zhuang, Chun Yuan, Ming Li, Shengfeng He, Fei Richard Yu

cs.AI

要旨

生成動画モデルの爆発的な成長に伴い、AI生成コンテンツの信頼性ある著作権保護の需要が高まっています。画像合成では一般的な不可視生成透かし技術は、動画生成においてほとんど未開拓のままです。このギャップを埋めるため、我々はSafe-Soraを提案します。これは、動画生成プロセスに直接グラフィカルな透かしを埋め込む初のフレームワークです。透かしの性能が透かしとカバーコンテンツ間の視覚的類似性に密接に関連しているという観察に基づき、階層的な粗から細への適応的マッチングメカニズムを導入しました。具体的には、透かし画像をパッチに分割し、各パッチを最も視覚的に類似した動画フレームに割り当て、さらに最適な空間領域に局所化してシームレスな埋め込みを実現します。動画フレーム間での透かしパッチの時空間的融合を可能にするため、3Dウェーブレット変換を強化したMambaアーキテクチャを開発し、新しい時空間的ローカルスキャン戦略を採用しました。これにより、透かしの埋め込みと検出における長距離依存関係を効果的にモデル化します。我々の知る限り、これは状態空間モデルを透かし技術に適用する初の試みであり、効率的で堅牢な透かし保護の新たな道を開くものです。大規模な実験により、Safe-Soraが動画品質、透かしの忠実度、堅牢性の面で最先端の性能を達成することが示されました。これは我々の提案に大きく起因しています。論文公開時にコードをリリースする予定です。

English

The explosive growth of generative video models has amplified the demand for reliable copyright preservation of AI-generated content. Despite its popularity in image synthesis, invisible generative watermarking remains largely underexplored in video generation. To address this gap, we propose Safe-Sora, the first framework to embed graphical watermarks directly into the video generation process. Motivated by the observation that watermarking performance is closely tied to the visual similarity between the watermark and cover content, we introduce a hierarchical coarse-to-fine adaptive matching mechanism. Specifically, the watermark image is divided into patches, each assigned to the most visually similar video frame, and further localized to the optimal spatial region for seamless embedding. To enable spatiotemporal fusion of watermark patches across video frames, we develop a 3D wavelet transform-enhanced Mamba architecture with a novel spatiotemporal local scanning strategy, effectively modeling long-range dependencies during watermark embedding and retrieval. To the best of our knowledge, this is the first attempt to apply state space models to watermarking, opening new avenues for efficient and robust watermark protection. Extensive experiments demonstrate that Safe-Sora achieves state-of-the-art performance in terms of video quality, watermark fidelity, and robustness, which is largely attributed to our proposals. We will release our code upon publication.