LoRAShop: Training-vrije multi-concept beeldgeneratie en -bewerking met Rectified Flow Transformers

LoRAShop: Training-Free Multi-Concept Image Generation and Editing with Rectified Flow Transformers

May 29, 2025

Auteurs: Yusuf Dalva, Hidir Yesiltepe, Pinar Yanardag

cs.AI

Samenvatting

We introduceren LoRAShop, het eerste raamwerk voor multi-concept beeldbewerking met LoRA-modellen. LoRAShop bouwt voort op een belangrijk inzicht over de interactiepatronen van kenmerken binnen Flux-style diffusietransformers: concept-specifieke transformerkenmerken activeren ruimtelijk coherente regio's vroeg in het denoisingsproces. We benutten dit inzicht om een ontward latent masker af te leiden voor elk concept in een voorwaartse pass en mengen de bijbehorende LoRA-gewichten alleen binnen de regio's die de te personaliseren concepten begrenzen. De resulterende bewerkingen integreren naadloos meerdere onderwerpen of stijlen in de oorspronkelijke scène, terwijl de globale context, belichting en fijne details behouden blijven. Onze experimenten tonen aan dat LoRAShop betere identiteitsbehoud biedt in vergelijking met baseline-methoden. Door hertraining en externe beperkingen te elimineren, transformeert LoRAShop gepersonaliseerde diffusiemodellen in een praktisch 'photoshop-met-LoRA's'-gereedschap en opent het nieuwe mogelijkheden voor compositorisch visueel vertellen en snelle creatieve iteratie.

English

We introduce LoRAShop, the first framework for multi-concept image editing with LoRA models. LoRAShop builds on a key observation about the feature interaction patterns inside Flux-style diffusion transformers: concept-specific transformer features activate spatially coherent regions early in the denoising process. We harness this observation to derive a disentangled latent mask for each concept in a prior forward pass and blend the corresponding LoRA weights only within regions bounding the concepts to be personalized. The resulting edits seamlessly integrate multiple subjects or styles into the original scene while preserving global context, lighting, and fine details. Our experiments demonstrate that LoRAShop delivers better identity preservation compared to baselines. By eliminating retraining and external constraints, LoRAShop turns personalized diffusion models into a practical `photoshop-with-LoRAs' tool and opens new avenues for compositional visual storytelling and rapid creative iteration.