Trainingsfreie farbliche Bearbeitung mit textgesteuertem Multi-Modal-Diffusion-Transformer

papers.abstract

Textgesteuerte Farbbearbeitung in Bildern und Videos ist ein grundlegendes, aber noch ungelöstes Problem, das eine fein abgestimmte Manipulation von Farbattributen wie Albedo, Lichtquellenfarbe und Umgebungsbeleuchtung erfordert, während die physikalische Konsistenz in Bezug auf Geometrie, Materialeigenschaften und Licht-Materie-Interaktionen erhalten bleibt. Bestehende trainingsfreie Methoden bieten zwar breite Anwendbarkeit für verschiedene Bearbeitungsaufgaben, haben jedoch Schwierigkeiten bei der präzisen Farbkontrolle und führen oft zu visuellen Inkonsistenzen in bearbeiteten sowie nicht bearbeiteten Bereichen. In dieser Arbeit präsentieren wir ColorCtrl, eine trainingsfreie Farbbearbeitungsmethode, die die Aufmerksamkeitsmechanismen moderner Multi-Modaler Diffusionstransformatoren (MM-DiT) nutzt. Durch die Entflechtung von Struktur und Farbe mittels gezielter Manipulation von Aufmerksamkeitskarten und Wert-Tokens ermöglicht unsere Methode eine präzise und konsistente Farbbearbeitung sowie eine wortgenaue Kontrolle der Attributintensität. Unsere Methode modifiziert ausschließlich die durch den Prompt spezifizierten Bereiche und lässt unverwandte Regionen unberührt. Umfangreiche Experimente mit SD3 und FLUX.1-dev zeigen, dass ColorCtrl bestehende trainingsfreie Ansätze übertrifft und Spitzenleistungen in Bezug auf Bearbeitungsqualität und Konsistenz erreicht. Darüber hinaus übertrifft unsere Methode starke kommerzielle Modelle wie FLUX.1 Kontext Max und GPT-4o Image Generation in puncto Konsistenz. Bei der Anwendung auf Videomodelle wie CogVideoX zeigt unser Ansatz größere Vorteile, insbesondere bei der Wahrung der zeitlichen Kohärenz und Bearbeitungsstabilität. Schließlich verallgemeinert sich unsere Methode auch auf instruktionsbasierte Bearbeitungsdiffusionsmodelle wie Step1X-Edit und FLUX.1 Kontext dev, was ihre Vielseitigkeit weiter unterstreicht.

English

Text-guided color editing in images and videos is a fundamental yet unsolved problem, requiring fine-grained manipulation of color attributes, including albedo, light source color, and ambient lighting, while preserving physical consistency in geometry, material properties, and light-matter interactions. Existing training-free methods offer broad applicability across editing tasks but struggle with precise color control and often introduce visual inconsistency in both edited and non-edited regions. In this work, we present ColorCtrl, a training-free color editing method that leverages the attention mechanisms of modern Multi-Modal Diffusion Transformers (MM-DiT). By disentangling structure and color through targeted manipulation of attention maps and value tokens, our method enables accurate and consistent color editing, along with word-level control of attribute intensity. Our method modifies only the intended regions specified by the prompt, leaving unrelated areas untouched. Extensive experiments on both SD3 and FLUX.1-dev demonstrate that ColorCtrl outperforms existing training-free approaches and achieves state-of-the-art performances in both edit quality and consistency. Furthermore, our method surpasses strong commercial models such as FLUX.1 Kontext Max and GPT-4o Image Generation in terms of consistency. When extended to video models like CogVideoX, our approach exhibits greater advantages, particularly in maintaining temporal coherence and editing stability. Finally, our method also generalizes to instruction-based editing diffusion models such as Step1X-Edit and FLUX.1 Kontext dev, further demonstrating its versatility.

Trainingsfreie farbliche Bearbeitung mit textgesteuertem Multi-Modal-Diffusion-Transformer

Training-Free Text-Guided Color Editing with Multi-Modal Diffusion Transformer

papers.abstract

Support