EditVerse: Unificazione dell'Editing e della Generazione di Immagini e Video con Apprendimento In-Contesto

EditVerse: Unifying Image and Video Editing and Generation with In-Context Learning

September 24, 2025

Autori: Xuan Ju, Tianyu Wang, Yuqian Zhou, He Zhang, Qing Liu, Nanxuan Zhao, Zhifei Zhang, Yijun Li, Yuanhao Cai, Shaoteng Liu, Daniil Pakhomov, Zhe Lin, Soo Ye Kim, Qiang Xu

cs.AI

Abstract

I recenti progressi nei modelli di base evidenziano una chiara tendenza verso l'unificazione e il ridimensionamento, mostrando capacità emergenti in diversi domini. Mentre la generazione e la modifica di immagini sono passate rapidamente da framework specifici per singoli compiti a framework unificati, la generazione e la modifica di video rimangono frammentate a causa di limitazioni architetturali e scarsità di dati. In questo lavoro, introduciamo EditVerse, un framework unificato per la generazione e la modifica di immagini e video all'interno di un singolo modello. Rappresentando tutte le modalità, ovvero testo, immagine e video, come una sequenza unificata di token, EditVerse sfrutta l'auto-attenzione per ottenere un apprendimento contestuale robusto, un trasferimento di conoscenza cross-modale naturale e una gestione flessibile di input e output con risoluzioni e durate arbitrarie. Per affrontare la mancanza di dati di addestramento per la modifica video, progettiamo una pipeline di dati scalabile che cura 232K campioni di modifica video e li combina con dataset su larga scala di immagini e video per un addestramento congiunto. Inoltre, presentiamo EditVerseBench, il primo benchmark per la modifica video basata su istruzioni che copre compiti e risoluzioni diverse. Esperimenti estesi e studi sugli utenti dimostrano che EditVerse raggiunge prestazioni all'avanguardia, superando i modelli open-source e commerciali esistenti, mostrando al contempo capacità emergenti di modifica e generazione attraverso le modalità.

English

Recent advances in foundation models highlight a clear trend toward unification and scaling, showing emergent capabilities across diverse domains. While image generation and editing have rapidly transitioned from task-specific to unified frameworks, video generation and editing remain fragmented due to architectural limitations and data scarcity. In this work, we introduce EditVerse, a unified framework for image and video generation and editing within a single model. By representing all modalities, i.e., text, image, and video, as a unified token sequence, EditVerse leverages self-attention to achieve robust in-context learning, natural cross-modal knowledge transfer, and flexible handling of inputs and outputs with arbitrary resolutions and durations. To address the lack of video editing training data, we design a scalable data pipeline that curates 232K video editing samples and combines them with large-scale image and video datasets for joint training. Furthermore, we present EditVerseBench, the first benchmark for instruction-based video editing covering diverse tasks and resolutions. Extensive experiments and user studies demonstrate that EditVerse achieves state-of-the-art performance, surpassing existing open-source and commercial models, while exhibiting emergent editing and generation abilities across modalities.