ByteMorph: Benchmarking für instruktionsgesteuertes Bildbearbeiten mit nicht-starren Bewegungen

ByteMorph: Benchmarking Instruction-Guided Image Editing with Non-Rigid Motions

June 3, 2025

Autoren: Di Chang, Mingdeng Cao, Yichun Shi, Bo Liu, Shengqu Cai, Shijie Zhou, Weilin Huang, Gordon Wetzstein, Mohammad Soleymani, Peng Wang

cs.AI

Zusammenfassung

Das Bearbeiten von Bildern mit Anweisungen, um nicht starre Bewegungen, Kameraperspektivenwechsel, Objektverformungen, menschliche Gelenkbewegungen und komplexe Interaktionen widerzuspiegeln, stellt ein herausforderndes und bisher wenig erforschtes Problem in der Computer Vision dar. Bestehende Ansätze und Datensätze konzentrieren sich überwiegend auf statische Szenen oder starre Transformationen, was ihre Fähigkeit einschränkt, ausdrucksstarke Bearbeitungen mit dynamischen Bewegungen zu bewältigen. Um diese Lücke zu schließen, stellen wir ByteMorph vor, ein umfassendes Framework für anweisungsbasiertes Bildbearbeiten mit einem Schwerpunkt auf nicht starren Bewegungen. ByteMorph besteht aus einem groß angelegten Datensatz, ByteMorph-6M, und einem leistungsstarken Basismodell, das auf dem Diffusion Transformer (DiT) basiert und ByteMorpher genannt wird. ByteMorph-6M umfasst über 6 Millionen hochauflösende Bildbearbeitungspaare für das Training sowie einen sorgfältig kuratierten Evaluierungsbenchmark, ByteMorph-Bench. Beide erfassen eine Vielzahl von nicht starren Bewegungstypen in verschiedenen Umgebungen, menschlichen Figuren und Objektkategorien. Der Datensatz wurde mithilfe von bewegungsgesteuerter Datengenerierung, geschichteten Compositing-Techniken und automatischer Beschriftung erstellt, um Vielfalt, Realismus und semantische Kohärenz zu gewährleisten. Darüber hinaus führen wir eine umfassende Bewertung aktueller anweisungsbasierter Bildbearbeitungsmethoden aus akademischen und kommerziellen Bereichen durch.

English

Editing images with instructions to reflect non-rigid motions, camera viewpoint shifts, object deformations, human articulations, and complex interactions, poses a challenging yet underexplored problem in computer vision. Existing approaches and datasets predominantly focus on static scenes or rigid transformations, limiting their capacity to handle expressive edits involving dynamic motion. To address this gap, we introduce ByteMorph, a comprehensive framework for instruction-based image editing with an emphasis on non-rigid motions. ByteMorph comprises a large-scale dataset, ByteMorph-6M, and a strong baseline model built upon the Diffusion Transformer (DiT), named ByteMorpher. ByteMorph-6M includes over 6 million high-resolution image editing pairs for training, along with a carefully curated evaluation benchmark ByteMorph-Bench. Both capture a wide variety of non-rigid motion types across diverse environments, human figures, and object categories. The dataset is constructed using motion-guided data generation, layered compositing techniques, and automated captioning to ensure diversity, realism, and semantic coherence. We further conduct a comprehensive evaluation of recent instruction-based image editing methods from both academic and commercial domains.