비디오 모델을 위한 시각적 프롬프트 엔지니어링

초록

기반 모델(Foundation Model) 시대에 모델의 성능은 프롬프트에 달려 있다. 이러한 이유로 프롬프트 엔지니어링은 언어 모델 성능을 향상시키기 위한 필수 기술이 되었다. 현재 비디오 모델이 시각적 작업(예: 시각적 추론)을 위한 기반 모델로 자리 잡아가고 있으므로, 본 연구에서는 시각적 프롬프트 엔지니어링(Visual Prompt Engineering), 즉 작업 이미지를 자동으로 수정하여 모델 성능을 개선하는 방법이 비디오 모델에도 유사하게 적용될 수 있는지 탐구한다. 예를 들어, 시각적 물리 추론 작업("일련의 장애물을 통과한 후 공은 어디에 착지하는가?")에서 추상적인 스케치 같은 장면을 이미지 편집 모델에 간단히 호출하여 포토리얼리스틱 버전으로 변환할 수 있다. 본 연구는 시각적 프롬프트 엔지니어링(VIPE)이 작업 전반에 걸쳐 비디오 추론 성능을 향상시킨다는 것을 발견했다. 실제로 비디오 모델의 경우, 시각적 프롬프트 엔지니어링은 기존의 텍스트 기반 프롬프트 엔지니어링이나 테스트 시간 스케일링(Test-Time Scaling)보다 더 효과적일 수 있다. 결국, 텍스트 기반 프롬프트 엔지니어링이 언어 모델 성능을 체계적으로 개선하는 것처럼, 시각적 프롬프트 엔지니어링은 비디오 모델의 시각적 추론 성능을 이끌어내기 위한 간단하고 계산 효율적인 접근법으로 활용될 수 있다. 관련 예시 비디오는 프로젝트 페이지(https://visual-prompt-engineering.github.io/)에서 확인할 수 있다.

English

In the age of foundation models, a model is only as good as its prompt. For this reason, prompt engineering has become an essential technique for improving language model performance. Since video models are currently becoming foundation models for visual tasks (e.g., visual reasoning), we here ask whether they similarly benefit from visual prompt engineering: automatically modifying the task image to improve model performance. For example, for a visual physics reasoning task ("Where does the ball land, after passing a set of obstacles?"), an abstract sketch-like scene can be turned into a photorealistic version with a simple call to an image editing model. We find that visual prompt engineering, or VIPE for short, improves video reasoning performance across tasks. In fact, for video models, visual prompt engineering can be even more effective than classic text-based prompt engineering or test-time scaling. Ultimately, just as text-based prompt engineering systematically improves language model performance, visual prompt engineering can serve as a simple, compute-efficient approach to elicit better visual reasoning performance from video models. Example videos on our project page at https://visual-prompt-engineering.github.io/.