OmniWeaving: 自由形式の構成と推論による統合的なビデオ生成に向けて

OmniWeaving: Towards Unified Video Generation with Free-form Composition and Reasoning

March 25, 2026

著者: Kaihang Pan, Qi Tian, Jianwei Zhang, Weijie Kong, Jiangfeng Xiong, Yanxin Long, Shixue Zhang, Haiyi Qiu, Tan Wang, Zheqi Lv, Yue Wu, Liefeng Bo, Siliang Tang, Zhao Zhong

cs.AI

要旨

Seedance-2.0に代表されるプロプライエタリなシステムが万能的なビデオ生成において顕著な成功を収めている一方で、オープンソースの代替手段は大きく遅れを取っている。学術界のモデルの大半は依然として高度に分断されたままであり、統一的なビデオ生成に向けた数少ない既存の試みも、多様なタスクを単一フレームワーク内でシームレスに統合することに苦戦している。この格差を埋めるため、我々は強力なマルチモーダル構成能力と推論情報を特徴とする、全レベル対応ビデオ生成モデル「OmniWeaving」を提案する。多様な構成的・推論強化シナリオを網羅する大規模事前学習データセットを活用することで、OmniWeavingはテキスト、複数画像、ビデオ入力を時間的に結合しながら、高度なビデオ創作のための複雑なユーザー意図を推論する知的エージェントとして振る舞うことを学習する。さらに、次世代の知的な統一ビデオ生成を厳密に評価するために設計された初の包括的ベンチマーク「IntelligentVBench」を導入する。大規模な実験により、OmniWeavingがオープンソースの統一モデルの中でSoTA性能を達成することが実証された。コードとモデルは近日公開予定である。プロジェクトページ: https://omniweaving.github.io

English

While proprietary systems such as Seedance-2.0 have achieved remarkable success in omni-capable video generation, open-source alternatives significantly lag behind. Most academic models remain heavily fragmented, and the few existing efforts toward unified video generation still struggle to seamlessly integrate diverse tasks within a single framework. To bridge this gap, we propose OmniWeaving, an omni-level video generation model featuring powerful multimodal composition and reasoning-informed capabilities. By leveraging a massive-scale pretraining dataset that encompasses diverse compositional and reasoning-augmented scenarios, OmniWeaving learns to temporally bind interleaved text, multi-image, and video inputs while acting as an intelligent agent to infer complex user intentions for sophisticated video creation. Furthermore, we introduce IntelligentVBench, the first comprehensive benchmark designed to rigorously assess next-level intelligent unified video generation. Extensive experiments demonstrate that OmniWeaving achieves SoTA performance among open-source unified models. The codes and model will be made publicly available soon. Project Page: https://omniweaving.github.io.