ОДНОКРАТНЫЙ СИНТЕЗ: Композиционное создание видео "человек-окружение" посредством пространственно-разделенного внедрения движения и гибридной интеграции контекста
ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
April 1, 2026
Авторы: Fengyuan Yang, Luying Huang, Jiazhi Guan, Quanwei Yang, Dongwei Pan, Jianglin Fu, Haocheng Feng, Wei He, Kaisiyuan Wang, Hang Zhou, Angela Yao
cs.AI
Аннотация
Последние достижения в области базовых моделей для видео (Video Foundation Models, VFMs) произвели революцию в синтезе видео с участием человека, однако точное и независимое редактирование объектов и сцен остается серьезной проблемой. Современные попытки обеспечить более богатый контроль над окружением с помощью жестких 3D-геометрических композиций часто сталкиваются с явным компромиссом между точностью управления и гибкостью генерации. Кроме того, трудоемкая 3D-предобработка по-прежнему ограничивает практическую масштабируемость. В данной статье мы предлагаем ONE-SHOT — параметрически эффективный фреймворк для композиционного генерации видео "человек-окружение". Ключевая идея нашего подхода заключается в факторизации генеративного процесса на разделенные сигналы. В частности, мы представляем механизм инъекции в каноническое пространство, который разделяет динамику человека и контекст окружения с помощью кросс-внимания. Также мы предлагаем Dynamic-Grounded-RoPE — новую стратегию позиционного кодирования, которая устанавливает пространственные соответствия между различными пространственными областями без эвристических 3D-выравниваний. Для поддержки синтеза длинных последовательностей мы вводим механизм гибридной интеграции контекста, обеспечивающий согласованность объекта и сцены на протяжении генерации длительностью в несколько минут. Эксперименты показывают, что наш метод значительно превосходит современные подходы, предлагая превосходный структурный контроль и творческое разнообразие для синтеза видео. С проектом можно ознакомиться по адресу: https://martayang.github.io/ONE-SHOT/.
English
Recent advances in Video Foundation Models (VFMs) have revolutionized human-centric video synthesis, yet fine-grained and independent editing of subjects and scenes remains a critical challenge. Recent attempts to incorporate richer environment control through rigid 3D geometric compositions often encounter a stark trade-off between precise control and generative flexibility. Furthermore, the heavy 3D pre-processing still limits practical scalability. In this paper, we propose ONE-SHOT, a parameter-efficient framework for compositional human-environment video generation. Our key insight is to factorize the generative process into disentangled signals. Specifically, we introduce a canonical-space injection mechanism that decouples human dynamics from environmental cues via cross-attention. We also propose Dynamic-Grounded-RoPE, a novel positional embedding strategy that establishes spatial correspondences between disparate spatial domains without any heuristic 3D alignments. To support long-horizon synthesis, we introduce a Hybrid Context Integration mechanism to maintain subject and scene consistency across minute-level generations. Experiments demonstrate that our method significantly outperforms state-of-the-art methods, offering superior structural control and creative diversity for video synthesis. Our project has been available on: https://martayang.github.io/ONE-SHOT/.