PhotoDoodle: Artistieke beeldbewerking leren van weinig voorbeelden van gepaarde gegevens

PhotoDoodle: Learning Artistic Image Editing from Few-Shot Pairwise Data

February 20, 2025

Auteurs: Shijie Huang, Yiren Song, Yuxuan Zhang, Hailong Guo, Xueyin Wang, Mike Zheng Shou, Jiaming Liu

cs.AI

Samenvatting

We introduceren PhotoDoodle, een nieuw raamwerk voor beeldbewerking dat is ontworpen om het maken van foto-doodles te vergemakkelijken door kunstenaars in staat te stellen decoratieve elementen over foto's heen te plaatsen. Foto-doodles maken is uitdagend omdat de toegevoegde elementen naadloos geïntegreerd moeten lijken met de achtergrond, wat realistische blending, perspectiefuitlijning en contextuele samenhang vereist. Bovendien moet de achtergrond zonder vervorming behouden blijven, en moet de unieke stijl van de kunstenaar efficiënt worden vastgelegd op basis van beperkte trainingsdata. Deze vereisten worden niet aangepakt door eerdere methoden die zich voornamelijk richten op globale stijloverdracht of regionaal inpainten. De voorgestelde methode, PhotoDoodle, maakt gebruik van een tweefasige trainingsstrategie. Eerst trainen we een algemeen beeldbewerkingsmodel, OmniEditor, met behulp van grootschalige data. Vervolgens verfijnen we dit model met EditLoRA door gebruik te maken van een kleine, door kunstenaars samengestelde dataset van voor-en-na beeldparen om onderscheidende bewerkingsstijlen en -technieken vast te leggen. Om de consistentie in de gegenereerde resultaten te verbeteren, introduceren we een mechanisme voor hergebruik van positionele codering. Daarnaast publiceren we een PhotoDoodle-dataset met zes hoogwaardige stijlen. Uitgebreide experimenten tonen de geavanceerde prestaties en robuustheid van onze methode aan in gepersonaliseerde beeldbewerking, wat nieuwe mogelijkheden opent voor artistieke creatie.

English

We introduce PhotoDoodle, a novel image editing framework designed to facilitate photo doodling by enabling artists to overlay decorative elements onto photographs. Photo doodling is challenging because the inserted elements must appear seamlessly integrated with the background, requiring realistic blending, perspective alignment, and contextual coherence. Additionally, the background must be preserved without distortion, and the artist's unique style must be captured efficiently from limited training data. These requirements are not addressed by previous methods that primarily focus on global style transfer or regional inpainting. The proposed method, PhotoDoodle, employs a two-stage training strategy. Initially, we train a general-purpose image editing model, OmniEditor, using large-scale data. Subsequently, we fine-tune this model with EditLoRA using a small, artist-curated dataset of before-and-after image pairs to capture distinct editing styles and techniques. To enhance consistency in the generated results, we introduce a positional encoding reuse mechanism. Additionally, we release a PhotoDoodle dataset featuring six high-quality styles. Extensive experiments demonstrate the advanced performance and robustness of our method in customized image editing, opening new possibilities for artistic creation.