ビデオモデルのためのビジュアルプロンプトエンジニアリング

要旨

ファウンデーションモデルの時代において、モデルの性能はプロンプト次第である。そのため、プロンプトエンジニアリングは言語モデルの性能向上に不可欠な手法となっている。現在、動画モデルが視覚タスク（例：視覚的推論）のファウンデーションモデルとなりつつあることを踏まえ、我々はここで、視覚的プロンプトエンジニアリング（すなわち、モデルの性能向上のためにタスク画像を自動的に修正すること）が同様に有効であるかを問う。例えば、視覚的物理推論タスク（「一連の障害物を通過した後、ボールはどこに着地するか？」）では、抽象的なスケッチのようなシーンを、画像編集モデルへの単純な呼び出しによりフォトリアリスティックなバージョンに変換できる。我々は、視覚的プロンプトエンジニアリング（略してVIPE）が、タスク全体にわたって動画推論の性能を向上させることを発見した。実際、動画モデルにおいては、視覚的プロンプトエンジニアリングは、従来のテキストベースのプロンプトエンジニアリングやテスト時スケーリングよりも効果的である場合がある。最終的に、テキストベースのプロンプトエンジニアリングが言語モデルの性能を体系的に向上させるのと同様に、視覚的プロンプトエンジニアリングは、動画モデルからより優れた視覚推論性能を引き出すための、シンプルで計算効率の高いアプローチとして機能する。プロジェクトページ（https://visual-prompt-engineering.github.io/）にサンプル動画を掲載している。

English

In the age of foundation models, a model is only as good as its prompt. For this reason, prompt engineering has become an essential technique for improving language model performance. Since video models are currently becoming foundation models for visual tasks (e.g., visual reasoning), we here ask whether they similarly benefit from visual prompt engineering: automatically modifying the task image to improve model performance. For example, for a visual physics reasoning task ("Where does the ball land, after passing a set of obstacles?"), an abstract sketch-like scene can be turned into a photorealistic version with a simple call to an image editing model. We find that visual prompt engineering, or VIPE for short, improves video reasoning performance across tasks. In fact, for video models, visual prompt engineering can be even more effective than classic text-based prompt engineering or test-time scaling. Ultimately, just as text-based prompt engineering systematically improves language model performance, visual prompt engineering can serve as a simple, compute-efficient approach to elicit better visual reasoning performance from video models. Example videos on our project page at https://visual-prompt-engineering.github.io/.