ByteMorph : Évaluation de l'édition d'images guidée par instructions avec des mouvements non rigides

papers.abstract

La modification d'images à l'aide d'instructions pour refléter des mouvements non rigides, des changements de point de vue de la caméra, des déformations d'objets, des articulations humaines et des interactions complexes représente un problème difficile et encore peu exploré en vision par ordinateur. Les approches et jeux de données existants se concentrent principalement sur des scènes statiques ou des transformations rigides, limitant ainsi leur capacité à gérer des modifications expressives impliquant des mouvements dynamiques. Pour combler cette lacune, nous présentons ByteMorph, un cadre complet pour la modification d'images basée sur les instructions, mettant l'accent sur les mouvements non rigides. ByteMorph comprend un jeu de données à grande échelle, ByteMorph-6M, et un modèle de référence robuste basé sur le Transformer de Diffusion (DiT), nommé ByteMorpher. ByteMorph-6M inclut plus de 6 millions de paires d'images haute résolution pour l'entraînement, ainsi qu'un benchmark d'évaluation soigneusement conçu, ByteMorph-Bench. Ces deux éléments capturent une grande variété de types de mouvements non rigides dans divers environnements, figures humaines et catégories d'objets. Le jeu de données est construit en utilisant une génération de données guidée par le mouvement, des techniques de composition en couches et un sous-titrage automatisé pour garantir la diversité, le réalisme et la cohérence sémantique. Nous menons également une évaluation approfondie des méthodes récentes de modification d'images basées sur les instructions, provenant à la fois des domaines académiques et commerciaux.

English

Editing images with instructions to reflect non-rigid motions, camera viewpoint shifts, object deformations, human articulations, and complex interactions, poses a challenging yet underexplored problem in computer vision. Existing approaches and datasets predominantly focus on static scenes or rigid transformations, limiting their capacity to handle expressive edits involving dynamic motion. To address this gap, we introduce ByteMorph, a comprehensive framework for instruction-based image editing with an emphasis on non-rigid motions. ByteMorph comprises a large-scale dataset, ByteMorph-6M, and a strong baseline model built upon the Diffusion Transformer (DiT), named ByteMorpher. ByteMorph-6M includes over 6 million high-resolution image editing pairs for training, along with a carefully curated evaluation benchmark ByteMorph-Bench. Both capture a wide variety of non-rigid motion types across diverse environments, human figures, and object categories. The dataset is constructed using motion-guided data generation, layered compositing techniques, and automated captioning to ensure diversity, realism, and semantic coherence. We further conduct a comprehensive evaluation of recent instruction-based image editing methods from both academic and commercial domains.

ByteMorph : Évaluation de l'édition d'images guidée par instructions avec des mouvements non rigides

ByteMorph: Benchmarking Instruction-Guided Image Editing with Non-Rigid Motions

papers.abstract

Support