EditVerse : Unification de l'édition et de la génération d'images et de vidéos grâce à l'apprentissage en contexte

papers.abstract

Les récentes avancées dans les modèles de base mettent en lumière une tendance claire vers l'unification et la mise à l'échelle, révélant des capacités émergentes dans divers domaines. Alors que la génération et l'édition d'images ont rapidement évolué de cadres spécifiques à des tâches vers des cadres unifiés, la génération et l'édition de vidéos restent fragmentées en raison de limitations architecturales et de la rareté des données. Dans ce travail, nous présentons EditVerse, un cadre unifié pour la génération et l'édition d'images et de vidéos au sein d'un seul modèle. En représentant toutes les modalités, c'est-à-dire le texte, l'image et la vidéo, comme une séquence de tokens unifiée, EditVerse exploite l'auto-attention pour réaliser un apprentissage contextuel robuste, un transfert de connaissances intermodal naturel et une gestion flexible des entrées et sorties avec des résolutions et durées arbitraires. Pour pallier le manque de données d'entraînement pour l'édition de vidéos, nous concevons un pipeline de données scalable qui compile 232K échantillons d'édition de vidéos et les combine avec des ensembles de données d'images et de vidéos à grande échelle pour un entraînement conjoint. De plus, nous présentons EditVerseBench, le premier benchmark pour l'édition de vidéos basée sur des instructions, couvrant diverses tâches et résolutions. Des expériences approfondies et des études utilisateurs démontrent qu'EditVerse atteint des performances de pointe, surpassant les modèles open-source et commerciaux existants, tout en exhibant des capacités émergentes d'édition et de génération à travers les modalités.

English

Recent advances in foundation models highlight a clear trend toward unification and scaling, showing emergent capabilities across diverse domains. While image generation and editing have rapidly transitioned from task-specific to unified frameworks, video generation and editing remain fragmented due to architectural limitations and data scarcity. In this work, we introduce EditVerse, a unified framework for image and video generation and editing within a single model. By representing all modalities, i.e., text, image, and video, as a unified token sequence, EditVerse leverages self-attention to achieve robust in-context learning, natural cross-modal knowledge transfer, and flexible handling of inputs and outputs with arbitrary resolutions and durations. To address the lack of video editing training data, we design a scalable data pipeline that curates 232K video editing samples and combines them with large-scale image and video datasets for joint training. Furthermore, we present EditVerseBench, the first benchmark for instruction-based video editing covering diverse tasks and resolutions. Extensive experiments and user studies demonstrate that EditVerse achieves state-of-the-art performance, surpassing existing open-source and commercial models, while exhibiting emergent editing and generation abilities across modalities.

EditVerse : Unification de l'édition et de la génération d'images et de vidéos grâce à l'apprentissage en contexte

EditVerse: Unifying Image and Video Editing and Generation with In-Context Learning

papers.abstract

Support