エージェント的視覚生成：生成モデルからエージェント的制御へ

要旨

視覚生成は、単一の呼び出しによって利用される生成モデルから、計画し、ツールを選択し、中間合成出力を検査し、失敗を修正し、過去の経験を再利用できるエージェント的制御プロセスへと進化している。既存のほとんどのシステムでは、コントローラはLLMまたはVLMであり、視覚生成モデルはツールまたは実行者として機能する。しかし、既存研究には、生成システムがいつエージェント的になるかを判断するための一貫した基準が欠けている。計画の深さ、ツール使用、複数役割間の協調、強化学習は、しばしばエージェント性の証拠として扱われるが、それらのいずれも、コントローラがどの生成上の決定を行えるかを必ずしも規定するものではない。我々は、コントローラが生成過程において直接制御できるものに基づいて、この分野を整理する。L1 条件付け制御では、コントローラは所定の生成器への入力を準備するが、どの視覚操作が実行されるかは制御しない。L2 実行制御では、コントローラは実際の生成、編集、レンダリング、その他のコンテンツ変更操作を選択して呼び出す。L3 結果適応制御では、コントローラは中間結果を観察し、その観察を用いて現在のタスク内の後続操作を変更する。L4 経験適応制御では、コントローラは完了したタスクからの経験を保持し、その経験を用いて将来のタスクにおける決定を変更する。L0 固定サポートは、生成レベルの決定を行う配備済みコントローラを持たない、生成器、編集器、評価器、報酬モデル、ベンチマーク、固定パイプラインを別個に指す。これらのレベルは、モデル規模、システムの複雑さ、出力品質、ツール数や役割数、学習方法ではなく、漸進的に広がる意思決定の範囲を記述している。この枠組みを画像、動画、編集、3D、ワールド、スライド、ユーザーインターフェースの各生成に適用すると、コントローラ能力がどのように進化してきたか、またそのメカニズムが各レベルにどのように分布しているかが明らかになる。

English

Visual generation is evolving from generative models used through a single invocation into agentic control processes that can plan, select tools, inspect intermediate synthesized outputs, revise failures, and reuse prior experience. In most existing systems, the controller is an LLM or VLM, while visual generation models serve as tools or executors. However, existing work lacks a consistent criterion for determining when a generation system becomes agentic. Planning depth, tool use, multi-role collaboration, and reinforcement learning are often treated as evidence of agenticity, even though none of them necessarily determines which generation decisions the controller can make. We organize the field according to what the controller can directly control in the generation process. At L1 Conditioning Control, the controller prepares the input to a predetermined generator but does not control which visual operation is executed. At L2 Execution Control, it selects and invokes actual generation, editing, rendering, or other content-modifying operations. At L3 Outcome-Adaptive Control, it observes an intermediate outcome and uses that observation to change a subsequent operation within the current task. At L4 Experience-Adaptive Control, it retains experience from completed tasks and uses that experience to change decisions on future tasks. L0 Fixed Support separately denotes generators, editors, evaluators, reward models, benchmarks, and fixed pipelines without a deployed controller that makes generation-level decisions. These levels describe a progressively broader decision-making scope rather than model size, system complexity, output quality, tool or role count, or training method. Applying this framework across image, video, editing, 3D, world, slide, and user-interface generation reveals how controller capabilities have evolved and how their mechanisms are distributed across levels.