生成映像制作のためのテキスト主導インターフェース

A Text-Native Interface for Generative Video Authoring

March 10, 2026

著者: Xingyu Bruce Liu, Mira Dontcheva, Dingzeyu Li

cs.AI

要旨

誰もが自由形式のテキストで物語を書くことができます——これは学校教育で誰もが学ぶことです。しかし、ビデオを通じたストーリーテリングには、専門的で複雑なツールの習得が必要です。本論文では、生成的なビデオ制作のためのテキスト主導型インターフェース「Doki」を紹介します。Dokiは、ビデオ制作をテキストを書くという自然なプロセスに沿って行えるようにします。Dokiでは、テキストを書くことが主要な操作です：単一のドキュメント内で、ユーザーはアセットを定義し、シーンの構造を決め、ショットを作成し、編集を調整し、音声を追加できます。我々はこのテキストファーストアプローチの設計原則を明確にし、一連の事例を通じてDokiの機能を実証します。実世界での使用を評価するため、ビデオ制作の経験値が異なる参加者を対象に1週間の実地調査を実施しました。本研究は、生成ビデオインターフェースにおける根本的な転換をもたらし、視覚的物語を制作するための強力でアクセスしやすい新たな方法を提示します。

English

Everyone can write their stories in freeform text format -- it's something we all learn in school. Yet storytelling via video requires one to learn specialized and complicated tools. In this paper, we introduce Doki, a text-native interface for generative video authoring, aligning video creation with the natural process of text writing. In Doki, writing text is the primary interaction: within a single document, users define assets, structure scenes, create shots, refine edits, and add audio. We articulate the design principles of this text-first approach and demonstrate Doki's capabilities through a series of examples. To evaluate its real-world use, we conducted a week-long deployment study with participants of varying expertise in video authoring. This work contributes a fundamental shift in generative video interfaces, demonstrating a powerful and accessible new way to craft visual stories.