Plan-X: Генерация обучающих видео посредством семантического планирования

Plan-X: Instruct Video Generation via Semantic Planning

November 22, 2025

Авторы: Lun Huang, You Xie, Hongyi Xu, Tianpei Gu, Chenxu Zhang, Guoxian Song, Zenan Li, Xiaochen Zhao, Linjie Luo, Guillermo Sapiro

cs.AI

Аннотация

Трансформеры диффузионных моделей продемонстрировали выдающиеся способности в визуальном синтезе, однако часто испытывают трудности с семантическими рассуждениями высокого уровня и долгосрочным планированием. Это ограничение регулярно приводит к визуальным галлюцинациям и рассогласованию с пользовательскими инструкциями, особенно в сценариях, требующих сложного понимания сцены, взаимодействий человек-объект, многоэтапных действий и контекстного анализа движения. Для решения этих проблем мы предлагаем Plan-X — фреймворк, который явно обеспечивает семантическое планирование высокого уровня для управления процессом генерации видео. Его основой является Семантический Планировщик, обучаемая мультимодальная языковая модель, которая анализирует намерения пользователя на основе текстовых промптов и визуального контекста, а также авторегрессивно генерирует последовательность текстово-обоснованных пространственно-временных семантических токенов. Эти семантические токены, дополняющие руководство текстовыми промптами высокого уровня, служат структурированными «семантическими эскизами» во времени для видео-диффузионной модели, сильной стороной которой является синтез визуальных деталей высокой точности. Plan-X эффективно интегрирует преимущества языковых моделей в мультимодальном контекстном анализе и планировании с преимуществами диффузионных моделей в фотореалистичном синтезе видео. Многочисленные эксперименты демонстрируют, что наш фреймворк существенно снижает визуальные галлюцинации и обеспечивает детализированную генерацию видео, согласованную с инструкциями и мультимодальным контекстом.

English

Diffusion Transformers have demonstrated remarkable capabilities in visual synthesis, yet they often struggle with high-level semantic reasoning and long-horizon planning. This limitation frequently leads to visual hallucinations and mis-alignments with user instructions, especially in scenarios involving complex scene understanding, human-object interactions, multi-stage actions, and in-context motion reasoning. To address these challenges, we propose Plan-X, a framework that explicitly enforces high-level semantic planning to instruct video generation process. At its core lies a Semantic Planner, a learnable multimodal language model that reasons over the user's intent from both text prompts and visual context, and autoregressively generates a sequence of text-grounded spatio-temporal semantic tokens. These semantic tokens, complementary to high-level text prompt guidance, serve as structured "semantic sketches" over time for the video diffusion model, which has its strength at synthesizing high-fidelity visual details. Plan-X effectively integrates the strength of language models in multimodal in-context reasoning and planning, together with the strength of diffusion models in photorealistic video synthesis. Extensive experiments demonstrate that our framework substantially reduces visual hallucinations and enables fine-grained, instruction-aligned video generation consistent with multimodal context.