In-Video Instructies: Visuele Signalen als Generatieve Controle

In-Video Instructions: Visual Signals as Generative Control

November 24, 2025

Auteurs: Gongfan Fang, Xinyin Ma, Xinchao Wang

cs.AI

Samenvatting

Grootschalige videogeneratieve modellen hebben recentelijk sterke visuele capaciteiten gedemonstreerd, waardoor ze toekomstige frames kunnen voorspellen die voldoen aan de logische en fysieke aanwijzingen in de huidige observatie. In dit werk onderzoeken we of dergelijke capaciteiten benut kunnen worden voor controleerbare beeld-naar-video-generatie door visuele signalen die in de frames zijn ingebed te interpreteren als instructies, een paradigma dat we In-Video-instructie noemen. In tegenstelling tot op prompts gebaseerde controle, die tekstuele beschrijvingen biedt die inherent globaal en grof zijn, codeert In-Video-instructie gebruikersrichtlijnen rechtstreeks in het visuele domein via elementen zoals overliggende tekst, pijlen of trajecten. Dit maakt expliciete, ruimtelijk bewuste en ondubbelzinnige correspondenties mogelijk tussen visuele subjecten en hun beoogde handelingen door verschillende instructies toe te wijzen aan verschillende objecten. Uitgebreide experimenten met drie state-of-the-art generatoren, waaronder Veo 3.1, Kling 2.5 en Wan 2.2, tonen aan dat videomodellen dergelijke visueel ingebedde instructies betrouwbaar kunnen interpreteren en uitvoeren, met name in complexe multi-objectscenario's.

English

Large-scale video generative models have recently demonstrated strong visual capabilities, enabling the prediction of future frames that adhere to the logical and physical cues in the current observation. In this work, we investigate whether such capabilities can be harnessed for controllable image-to-video generation by interpreting visual signals embedded within the frames as instructions, a paradigm we term In-Video Instruction. In contrast to prompt-based control, which provides textual descriptions that are inherently global and coarse, In-Video Instruction encodes user guidance directly into the visual domain through elements such as overlaid text, arrows, or trajectories. This enables explicit, spatial-aware, and unambiguous correspondences between visual subjects and their intended actions by assigning distinct instructions to different objects. Extensive experiments on three state-of-the-art generators, including Veo 3.1, Kling 2.5, and Wan 2.2, show that video models can reliably interpret and execute such visually embedded instructions, particularly in complex multi-object scenarios.